יש לי לפטופ גיימינג עם ווינדוז. אני רוצה להריץ local llm לפנים, כזה 70b או אפילו 120b אבל המחשב לא יכול להריץ (פירוט)

אני גם כן נדפקתי בקטע הזה כשקניתי לפטופ ולא התייחסתי לכמות הvram, יש לפטופים שאפשר לשנות להם כרטיסי מסך (הייתה תקופה שזה היה טרנד במחשבי גיימינג ניידים, בערך ב2016, אני חושב שכיום זה פחות מצוי מלבד בלפטופים מודולאריים). אבל גם אם זה אפשרי, אתה תצטרך בשביל 120b מחשב עם 128g vram. אין כרטיס מסך כזה, אפילו כרטיסי workstation של אנבידיאה מכילים מקסימום 96g (לפחות בrtx pro 6000 blackwell שהוא לבדו נמכר במחירים בין 30 אלף ל60 אלף, בלי שאר המחשב), וקרוב לוודאי שאין לפטופ שיכול להכיל 2 gpus.

הפתרון הוא מה שעשו apple (או מחשבי arm אחרים) שעשו שהram הרגיל (של הcpu) והvram (הram של הgpu) הם אותו הראם, וזה נקרא unified ram. יש בהחלט מחשבים כאלו עם 128g ram, זה יקר, אבל זה כנראה יהיה יותר זול מאשר לקנות מחשב נייח עם אותה כמות vram (רק להבהיר- זה כנראה עדיין יעלה לך משהו כמו 25-35 אלף ש"ח). זה כן לא ירוץ באותה המהירות שירוץ עם כרטיסי nvidia, אבל ממשתמש mac אחד שהכרתי שהיה אובססיבי לlocal llms, זה בהחלט רץ במהירות לא רעה בכלל ובלי תקיעות למיניהם. מציע לך לחפש מישהו עם mac שיש לו כמות הram שאתה צריך כדי שתוכל לבדוק אם זה יתאים לך מראש, או לשאול ספק של apple בחנות שלו, כי אתה כנראה לא תהיה הראשון ששואל בנושא הזה, אם תחליט ללכת על זה.

יכול להיות שיש מחשבי arm אחרים עם 128g שיהיו משמעותית יותר זולים, אני לא כ"כ מכיר מחשבי arm, אבל זה רק אומר שתוכל להריץ את כל המודל על הgpu שלהם (שהוא סוג של פשוט תת-צ'יפ בcpu, כחלק מארכיטקטורת arm), אבל אני לא יודע באיזו מהירות זה ירוץ...

שואל השאלה:
תודה רבה :)

עוד אופציה זה לבנות מחשב נייח עם כמה כרטיסי מסך שמכילים הרבה vram (4090\intel b60\rtx ada 4000)
שמחוברים אחד לשני עם nvlink או משהו בסגנון ולהריץ את המודל כשירות אונליין (הרי בסך הכל מה שצריך לשלוח ולקבל זה הרבה טקסט ותמונה או שתיים פה ושם אולי)