I distill di R1 hanno portato i modelli di ragionamento sull'hardware consumer: questo 32B pensa ad alta voce in un blocco <think> prima di rispondere, guadagnando molto su matematica, codice difficile e pianificazione. Il prezzo è la velocità-alla-risposta — da centinaia a migliaia di token di pensiero per risposta — quindi è uno specialista per problemi difficili, non un modello da chat quotidiana. A Q4 entra in una scheda da 24GB, e la licenza MIT lo rende senza attriti per costruirci sopra.
VRAM per livello di quantizzazione
| Quant | Pesi | Entra su |
|---|---|---|
| Q4_K_M | ~19–20 GB | scheda 24GB (lascia margine per il contesto dei token di pensiero) |
| Q5_K_M | ~23 GB | 24GB al limite; 32GB comodo |
| Q8_0 | ~34 GB | scheda 48GB |
Solo pesi — aggiungi la KV-cache (cresce con contesto e concorrenza) e ~1–2GB di overhead. Formula e matematica della cache nella guida VRAM.
Avvio rapido
Imposta num_ctx a 16K+ — il blocco di pensiero consuma contesto in fretta e un pensiero troncato rovina le risposte. Sampling: temperature ~0,6 funziona bene; evita system prompt che combattono il formato di pensiero. Nelle pipeline, rimuovi il blocco <think>…</think> prima di mostrarlo agli utenti o passarlo a valle.
Prestazioni attese
| Hardware | Velocità di generazione |
|---|---|
| RTX 3090 (Q4) | ~25–30 tok/s |
| RTX 4090 (Q4) | ~30–40 tok/s |
| 48GB (Q8) | ~20–28 tok/s |
Valori indicativi single-user (runtime classe llama.cpp/Ollama); il serving multi-utente via vLLM moltiplica il throughput totale 10–20× col batching.
Consigli e insidie
- Non giudicarlo dall'orologio: la velocità dei token è normale, le risposte sono lente perché prima scrive il suo ragionamento. È la funzione, non un difetto.
- Instrada con un modello piccolo: manda le richieste di routine a un 7–14B, fai escalation delle difficili a R1 — il ragionamento-per-euro è imbattibile usato così.
- Pienamente permissiva — la licenza più business-friendly dell'AI aperta.
FAQ
Perché le risposte sono così lente se i tok/s sembrano buoni?
Genera una catena di ragionamento nascosta prima della risposta visibile — spesso 5–20× la lunghezza della risposta. Latenza totale = pensiero + risposta.
R1 32B o Llama 3.3 70B?
Lavori diversi: R1 per matematica/codice/pianificazione dove vince il ragionamento; Llama 70B per qualità di scrittura e conoscenza ampia. R1 richiede anche metà della VRAM.