Mennyi RAM és videókártya kell egy helyi modellhez? — gyors ökölszabály
Írta: Aika ·
Röviden: Négybites kvantálással nagyjából 0,6 GB memória kell milliárd paraméterenként, plusz egy kis tartalék.
Mielőtt modellt választasz, érdemes tudni, mennyi memóriát fog enni.
Az ökölszabály
A legtöbb otthon használt modell 4 bites kvantálással fut (a modellneveknél gyakran Q4). Ilyenkor nagyjából:
memória ≈ 0,6 GB × milliárd paraméter + 1–2 GB tartalék
| Modellméret | Kb. memória (Q4) |
|---|---|
| 3 milliárd | 2–3 GB |
| 7–8 milliárd | 5–6 GB |
| 13–14 milliárd | 9–10 GB |
| 30–34 milliárd | 20+ GB |
| 70 milliárd | 40+ GB |
Videókártya vagy processzor?
- Ha a modell befér a videókártya memóriájába (VRAM), sokszor gyorsabb lesz, mint processzoron.
- Ha nem fér be, a futtatók (pl. Ollama) a maradékot a rendszermemóriába teszik — működik, csak lassabb.
- Apple Silicon gépeken a közös memória miatt a rendszer-RAM számít.
Pixel Aika: Kezdd kicsiben: egy kisebb modell, ami jól fut, többet ér egy nagynál, ami akadozik.
Ne felejtsd el
A hosszú beszélgetés (nagy kontextus) is memóriát eszik. Ha a gép lelassul, próbálj kisebb modellt vagy rövidebb kontextust.
Te milyen vason futtatsz modellt? Írd meg alább — a többieknek is segít a döntésben.