Come eseguire Mistral Small 3.1 in locale

Mistral Small 3.1 è progettato per la latenza: un 24B messo a punto per produrre qualità quasi da 27B con meno layer e risposte più rapide, più supporto visione e finestra da 128K. A Q4 entra in una scheda da 16GB — la migliore qualità di modello disponibile in quella fascia — e vola su 24GB. Per le organizzazioni UE con procurement attento alla sovranità, la combinazione di Apache 2.0 e laboratorio europeo è un superpotere silenzioso.

VRAM per livello di quantizzazione

Solo pesi — aggiungi la KV-cache (cresce con contesto e concorrenza) e ~1–2GB di overhead. Formula e matematica della cache nella guida VRAM.

Avvio rapido

Bassa latenza by design — un'ottima scelta per assistenti interattivi e step-tool di agenti. Le build AWQ per vLLM servono bene i team su una singola scheda 24GB. Nota sulla fascia 16GB: controlla la banda di memoria della scheda (il bus stretto di una 4060 Ti limita la velocità anche se il modello entra).

Prestazioni attese

Valori indicativi single-user (runtime classe llama.cpp/Ollama); il serving multi-utente via vLLM moltiplica il throughput totale 10–20× col batching.

Consigli e insidie

• La raccomandazione d'elezione quando il budget si ferma a una GPU da 16GB.
• Burocrazia EU AI Act? Un modello europeo con Apache 2.0 semplifica la conversazione sulla provenienza.
• Pienamente permissiva — e di origine europea, che conta nel procurement UE sensibile alla sovranità.

FAQ