Qwen3.6 27B è il re di densità della classe 24GB: forte qualità generale, codice eccellente, output multilingue di prima fascia (incluso l'italiano, che molti modelli aperti gestiscono male) e un thinking mode ibrido attivabile per richiesta per il ragionamento più difficile. A Q4 entra in una singola RTX 3090 usata con spazio per contesto reale: la raccomandazione di default per un primo deployment locale serio.
VRAM per livello di quantizzazione
| Quant | Pesi | Entra su |
|---|---|---|
| Q4_K_M | ~16 GB | 24GB comodamente; 16GB al limite, contesto corto |
| Q5_K_M | ~19 GB | 24GB con contesto moderato |
| Q8_0 | ~29 GB | 32GB (RTX 5090) o 48GB; contesto 100K entra in 32GB con KV-cache Q8 |
Solo pesi — aggiungi la KV-cache (cresce con contesto e concorrenza) e ~1–2GB di overhead. Formula e matematica della cache nella guida VRAM.
Avvio rapido
LM Studio: cerca “Qwen3.6 27B”, scegli il quant con il badge verde di compatibilità VRAM (build MLX su Mac). Produzione: vLLM con la build AWQ per il serving multi-utente. Alza il contesto — Ollama imposta num_ctx basso di default; metti 32768+ in un Modelfile o il thinking mode troncherà il proprio ragionamento.
Prestazioni attese
| Hardware | Velocità di generazione |
|---|---|
| RTX 3090 (Q4) | ~28–35 tok/s |
| RTX 4090 (Q4) | ~35–45 tok/s |
| RTX 5090 (Q8) | ~35–45 tok/s |
| Mac M-series Max/Ultra | ~12–20 tok/s |
Valori indicativi single-user (runtime classe llama.cpp/Ollama); il serving multi-utente via vLLM moltiplica il throughput totale 10–20× col batching.
Consigli e insidie
- Il thinking mode moltiplica i token di output — ottimo per matematica/pianificazione, sprecato per i riassunti. Attivalo per richiesta, non lasciarlo sempre acceso.
- Per agenti e output JSON usa Q5+ — l'output strutturato degrada prima della prosa sotto quantizzazione.
- Attiva la KV-cache Q8 per raddoppiare il contesto utilizzabile sulla stessa scheda.
- Pienamente permissiva — uso commerciale, modifica e redistribuzione consentiti.
FAQ
Posso eseguire Qwen3.6 27B con 16GB di VRAM?
Sì a Q4 con contesto corto (4–8K), ma 24GB è la fascia comoda: quant di piena qualità più contesto di lavoro.
È buono in italiano?
Tra i migliori modelli aperti per qualità dell'italiano — una ragione chiave per cui è la nostra raccomandazione di default per team italiani.
Thinking mode acceso o spento?
Spento di default; acceso per matematica, architettura del codice e pianificazione multi-step. Costa token e latenza.