למה AI מקומי לא נפוץ?

יש פער מטורף כרגע בין המודלים שהחומרה שלך בבית יכולה להריץ אל מול המודלים הטובים בשוק שעולים סנטים להריץ עליהם בקשות

המחשב שלך בבית לא מספיק חזק ומהיר להריץ מודל טוב

זה יקר מאוד, כגע צריך בשביל זה או מקבוק ממש חזקה, או הרבה vram, ושניהם יקרים לאללה.
הדבר היחיד שאפשר להריץ בקלות זה מודלים קטנים של עד 7-7.5 פרמטרים, בכרטיסי תוספת של מעבדים ניורולוגים, כרגע הם מגיעים עד איזה 8gb והם עולים בערך 240-250 דולר, אז גם זה לא זול.
אבל בדביל להריץ ai ביתי צריך כרטיס מסך יחסית חדש ולפחות 16 ג'יגה vram

כוח חישוב מטורף, מחשב ביתי לא יכול להריץ את המודלים.

הרבה אנשים (כמוני) לא בעד ai אז בכללי הרבה לא משתמשים