Arrivare a quasi 100.000 token di contesto con un Large Language Model da 27 miliardi di parametri è una sfida che normalmente richiede GPU enterprise con decine di gigabyte di VRAM. L'utente Reddit BitGreen1270 ha invece dimostrato che si può fare con una singola scheda consumer, una NVIDIA RTX 5090 equipaggiata con 32 GB di memoria video, quantizzando il modello Qwen3.6-27B a Q8 e giocando sulla precisione della cache chiave-valore.

L'esperimento non pretende rigore scientifico, ma offre spunti concreti per chi valuta il deployment locale di LLM su hardware non datacenter. L'autore, che usa il modello per progetti personali di programmazione assistita, aveva già notato come la versione Q8 offrisse risultati soggettivamente migliori rispetto alle quantizzazioni Q6 o Q5, pur con una finestra di contesto nativa di circa 60.000 token. Per spingersi oltre ha lavorato su tre configurazioni diverse, tenendo fissa la quantization del modello e agendo sulla cache KV.

Il compromesso della cache KV

Nei Transformer, la cache KV memorizza le rappresentazioni di chiavi e valori per tutti i token già elaborati, ed è la principale responsabile del consumo di VRAM quando si allunga il contesto. Quantizzare questa cache significa ridurre l'occupazione di memoria, ma potenzialmente anche la qualità dell'output. BitGreen1270 ha testato tre combinazioni per chiavi e valori:

  • Opzione 1: cache a 95K token, sia chiavi che valori a Q8_0. VRAM libera iniziale: 230 MB, dopo benchmark 90 MB.
  • Opzione 2: 105K token, chiavi Q8_0, valori Q5_1. VRAM libera: da 320 MB a 180 MB.
  • Opzione 3: 115K token, chiavi Q8_0, valori Q4_0. VRAM libera: da 290 MB a 150 MB.

Le prove sono state condotte su un server Ubuntu headless con 64 GB di RAM di sistema, utilizzando llama-server con Flash Attention, parallelismo 1 e speculative decoding (draft-mtp, max 4 bozze). I benchmark misurano la velocità di inference e il tasso di accettazione delle bozze speculative.

I numeri raccontano un framework interessante. L'opzione 3, che spinge il contesto a 115K token quantizzando i valori a Q4_0, ottiene il miglior tasso aggregato di accettazione (0,6969) e il tempo totale più basso (14,93 secondi su 9 richieste), seguita dall'opzione 1 (0,6619, 15,41 s) e dall'opzione 2 (0,6346, 15,84 s). La velocità in token/s per il coding Python, ad esempio, va da 138,7 a 142,0, senza un calo drammatico all'aumentare del contesto.

Questo comportamento suggerisce che per Qwen3.6-27B la quantization aggressiva dei valori non penalizza la qualità percepita in modo lineare, anzi può aiutare a sfruttare meglio la memoria disponibile. L'autore stesso ammette di non avere dati quantitativi sulla qualità del codice generato, limitandosi a un giudizio soggettivo, ma i numeri prestazionali indicano che la strada è percorribile.

Cosa significa per il deployment on-premise

Per chi progetta stack LLM self-hosted, questa esperienza mette in luce alcuni trade-off reali. Con 32 GB di VRAM, un modello da 27B a Q8 può servire contesti molto ampi, utili per analisi di documenti, code review estese o sessioni di conversazione prolungate, senza dover ricorrere a costose GPU server. Le opzioni di quantization della cache KV (grazie a flag come -ctk e -ctv in llama.cpp) permettono di regolare il compromesso tra memoria e precisione in modo granulare.

Resta il nodo della qualità effettiva. L'industria tende a considerare Qwen tollerante alla quantization, ma il giudizio dell'utente – che ha provato le alternative – è che Q8 sia nettamente preferibile a Q6 o Q5. In assenza di benchmark standard, la scelta della quantization resta spesso affidata a valutazioni soggettive o a test su task specifici.

La nota sui flag -b e -ub, che consentono di risparmiare circa 100 MB di VRAM, mostra quanto sia delicato il bilanciamento quando si opera al limite dell'hardware. Anche pochi megabyte possono fare la differenza tra un contesto di 95K e uno di 115K token.

Per chi valuta il deployment on-premise, AI-RADAR offre framework analitici per mappare queste variabili su casi d'uso concreti. L'esempio di BitGreen1270 non è una ricetta universale, ma ricorda che con le giuste leve di configurazione, anche una singola GPU consumer può diventare una piattaforma di inference sorprendentemente capiente.