Come eseguire Llama 3.3 70B in locale

Llama 3.3 70B è il riferimento su cui si misurano gli altri modelli aperti: eccellente instruction following, qualità di scrittura e conoscenza generale, con il supporto di ecosistema più ampio di qualsiasi famiglia. Il prezzo è l'hardware: ~40GB di pesi a Q4 significano una scheda da 48GB o un rig dual-24GB. Se i tuoi task sono Q&A fondato su RAG, prova prima un 27B — il 70B si guadagna il silicio su scrittura sfumata e ragionamento più difficile.

VRAM per livello di quantizzazione

Solo pesi — aggiungi la KV-cache (cresce con contesto e concorrenza) e ~1–2GB di overhead. Formula e matematica della cache nella guida VRAM.

Avvio rapido

Dual-GPU: llama.cpp/Ollama dividono i layer automaticamente; vLLM con tensor-parallel 2 è più veloce per il serving. Non pianificare sull'offload CPU — ogni 20% del modello su CPU dimezza circa la velocità. Su Mac, uno Studio da 96GB+ esegue Q5 con contesto ampio, in silenzio, a ~7–10 tok/s.

Prestazioni attese

Valori indicativi single-user (runtime classe llama.cpp/Ollama); il serving multi-utente via vLLM moltiplica il throughput totale 10–20× col batching.

Consigli e insidie

• Metti a budget la KV-cache: 128K di contesto possono aggiungere decine di GB — quantizza la cache a Q8 e dimensiona sul tuo contesto reale.
• Bisogno occasionale di un 70B? Noleggia una GPU 80GB a ore invece di comprare — la matematica dell'utilizzo raramente premia il possesso per uso saltuario.
• Gratuito per quasi ogni uso aziendale; termini custom — fallo leggere prima di farne un prodotto.

FAQ