2 תשובות
להבנתי אפשר להריץ מ16gb ומעלה, אבל בחיים לא ניסיתי. בכל מקרה תתעלם ממה שהבחור פה למעלה כתב, לא צריך 5090 או 6000, אפשר גם להשתמש בכמה כרטיסים ישנים יותר בו זמנית כדי לרבל מספיק כוח מחשוב, משהו כמו ada .2000/4000 זה לפחות להבנתי.
ממש לא חייב 5090 למודלים קטנטנים
יש לך llama,qwen mistral וכו
תשתמש בquantization
תתקין דרך ollama זה ממש קל
יש לך llama,qwen mistral וכו
תשתמש בquantization
תתקין דרך ollama זה ממש קל
באותו הנושא: