למה AI מקומי לא נפוץ?

יש פער מטורף כרגע בין המודלים שהחומרה שלך בבית יכולה להריץ אל מול המודלים הטובים בשוק שעולים סנטים להריץ עליהם בקשות

המחשב שלך בבית לא מספיק חזק ומהיר להריץ מודל טוב

זה יקר מאוד, כגע צריך בשביל זה או מקבוק ממש חזקה, או הרבה vram, ושניהם יקרים לאללה.
הדבר היחיד שאפשר להריץ בקלות זה מודלים קטנים של עד 7-7.5 פרמטרים, בכרטיסי תוספת של מעבדים ניורולוגים, כרגע הם מגיעים עד איזה 8gb והם עולים בערך 240-250 דולר, אז גם זה לא זול.
אבל בדביל להריץ ai ביתי צריך כרטיס מסך יחסית חדש ולפחות 16 ג'יגה vram

כוח חישוב מטורף, מחשב ביתי לא יכול להריץ את המודלים.

הרבה אנשים (כמוני) לא בעד ai אז בכללי הרבה לא משתמשים

@me=myself: הלוואי והיה נכון. בארץ (בעיקר בתקשורת המיינסטרים, בעסקים וכד') מהללים, משבחים ומפארים קלנקרים על ימין ועל שמאל תוך התעלמות גורפת ומשוועת מהחסרונות הכבדים מאחוריהם.

^ דווקא לא כל כך, אני רואה הרבה פרסומות באינסטגרם עם ai ומלא תגובות שמתעצבנות על השימוש והכל בעברית

היתרונות עולים על החסרונות *מאוד*

היתרונות עולים על החסרונות רק בשימושים מסוימים.
ליצירת "אומנות" ודבריפ גנרטיביים זה לא יעיל בכלל.
אבל סטטיסטיקה, ארגון וקטלוג זה מצוין.

^מדע זה מספיק כל השאר זה בונוס

בונוס זה לא, זה גירעון. צריך איזון.

דווקא הוא יחסית נפוץ ב on prems.
גם היום עם מודלים כמו qwen3.8 27b זה יותר מאפשרי עם חומרה יחסית טובה.

הבעיה היא שכמו שציינו, אתה לרוב עדיין תצטרך חומרה ייעודית , זה מאוד יקר ועם המחירים *היום* זה מאוד לא משתלם ולהשכיר יוצא יותר משתלם.

אולי בעתיד זה ישתנה.

כי אנשים לא יודעים להתעסק עם זה ולאחסן שרת ai בעצמם אז הם מעדיפים לשלם למודל ai שכבר מאומן ויודע לענות על הצרכים שלהם אבל אני לא רואה למה פשוט לא לאחסן שרת ai בעצמך בבית עם מודל של ollama

^ניסית?

כן יש לי שרת ai בבית אני משתמש במודל qwen

^עובד טוב?

כן עובד בסדר