איך אני מצליח להריץ את המודל Gemma 4 עם 26 מיליארד פרמטרים על 10GB VRAM ו32GB RAM?

אם אני לא טועה הקריטריון המינימלי הוא באיזור ה14gb לvram, וזה עוד לפני kv cache וכו וכו
בתכלס אתה יכול להשתמש בgguf או/ו- llama.ccp כדי לעשות offloading לחלק שלא מתאים בvram ככה שהram משלים אותו, אבל כדאי שתעשה את זה באופן מאודדד מאוזן כדי שהדרייבר הגרפי לא ישתמש חלקית בshared memory והמחשב ליטרלי יקרוס