Gemma 3 27B è la scelta multimodale della classe 24GB: legge immagini e documenti nativamente, produce testo multilingue curato (italiano incluso), e — unicum — Google pubblica build QAT ufficiali (quantization-aware trained), quindi le sue versioni 4-bit perdono meno qualità dei quant post-hoc di modelli comparabili. Se il tuo carico mescola testo con documenti scansionati, screenshot o foto, è il modello locale da provare per primo.
VRAM per livello di quantizzazione
| Quant | Pesi | Entra su |
|---|---|---|
| Q4 (QAT) | ~16–17 GB | 24GB comodamente; qualità QAT ufficiale |
| Q5/Q6 | ~19–22 GB | 24GB con contesto moderato |
| Q8_0 | ~29 GB | 32GB o 48GB |
Solo pesi — aggiungi la KV-cache (cresce con contesto e concorrenza) e ~1–2GB di overhead. Formula e matematica della cache nella guida VRAM.
Avvio rapido
La visione funziona subito in Ollama e LM Studio (allega immagini nel prompt/UI). Per le pipeline documentali, i token immagine consumano contesto — mettilo a budget. Su Mac, le build MLX sono notevolmente veloci.
Prestazioni attese
| Hardware | Velocità di generazione |
|---|---|
| RTX 3090 (Q4 QAT) | ~25–32 tok/s |
| RTX 4090 (Q4 QAT) | ~32–42 tok/s |
| Mac M-series Max (MLX) | ~15–22 tok/s |
Valori indicativi single-user (runtime classe llama.cpp/Ollama); il serving multi-utente via vLLM moltiplica il throughput totale 10–20× col batching.
Consigli e insidie
- Preferisci sempre i quant QAT ufficiali — il vantaggio di qualità a 4-bit di questa famiglia è reale e gratuito.
- Per il RAG su PDF scansionati, lascia che Gemma legga direttamente le immagini delle pagine invece di combattere gli errori OCR.
- Permissiva per uso aziendale con una policy di usi vietati — più leggera di quella Llama, leggila una volta.
FAQ
Gemma 3 27B o Qwen3.6 27B?
Serve visione o immagini di documenti → Gemma. Serve il miglior codice e un thinking mode → Qwen. Entrambi forti in italiano; testa sui tuoi prompt.
La visione richiede hardware speciale?
No — stessa GPU, ma le immagini consumano token di contesto, quindi chat lunghe multi-immagine preferiscono 24GB a 16GB.