זה נורא להריץ בינה מלאכותית מקומית על המעבד? כי אין לי כרטיס מסך.

אם אין לך gpu זה בוודאות יהיה הרבה יותר איטי והרבה יותר בזבזני בחשמל. אם בכלל יעבוד.

לא יודע איזה מודל אתה רוצה להריץ. אתה תמיד יכול לנסות ולראות מה קורה. אבל זה לא אמור לעבוד טוב בלי gpu.

מאוד לא אפקטיבי, כרטיס מסך מותאם לבינה מקומית פי כמה וכמה ממעבד מרכזי. אני מניח שאתה מתכוון לכרטיס המסך שיש לך מובנה במעבד, לו גם יהיה קשה להריץ בינה מקומית מכיוון שיש לו כמות מזערית של זיכרון.

זה תלוי במודל, אם זה בסביבות 50-200 מיליון פרמטרים זה שמיש, אם יש לך יחידת עיבוד ניורולוגית אז אפשר יותר, להבנתי מעל לכמה מאות מיליון פרמטרים כבר צריך ראם רגיל מהיר מאוד עם הרבה רוחב פס או לעבור כבר לראם גרפי/hbm