Per portare un modello dense da 27 miliardi di parametri a una finestra di contesto di 100.000 token su una GPU consumer da 16 GB, il punto non è il modello in sé: è il modo in cui il runtime comprime e gestisce la memoria. È questa la lezione pratica che arriva da un setup documentato su Reddit, dove un utente ha mostrato come un RTX 4070 Ti SUPER riesca a sostenere tra 47 e 50 token al secondo con una VRAM quasi satura (15,93 GB occupati su 16 GB, circa 70 MB liberi).

Il modello scelto è Qwen3.8-27B-i1-IQ4_XS-GGUF-Smaller, una versione community pubblicata su Hugging Face da jrell. Lo schema di quantization ibrido è progettato per far convivere Multi-Token Prediction e contesti lunghi dentro il budget di una scheda consumer. Il motore di inference è beellama.cpp, un fork non mainstream scelto proprio perché introduce i tipi di cache kvarn, non disponibili nel progetto principale. Qui sta il cuore tecnico: la cache K usa kvarn5, la cache V usa kvarn4. L'utente descrive la quantization kvarn come quasi lossless, con una fedeltà paragonabile a q5 ma un footprint di memoria da q4.

Non è solo una questione di modello. Il comando mantiene gli ultimi 1.024 token a piena precisione (--kv-tail-tokens 1024), una scelta che protegge la qualità dell'output recente mentre il resto della cache viene compresso. Anche la decodifica speculativa gioca un ruolo: il setup attiva --spec-type draft-mtp con due draft token, sfruttando il supporto Multi-Token Prediction del modello per accelerare la generazione. Il risultato, tra 47 e 50 token al secondo, è notevole per un modello dense di questa classe su hardware consumer.

Il dato più interessante rimane il risparmio di memoria ottenuto passando dalla coppia kvarn5/kvarn5 a kvarn5/kvarn4: circa il 6% di VRAM, sufficiente per estendere il contesto da 88.000 a 100.000 token senza modificare il modello. È un cambio di prospettiva rispetto alla corsa alla VRAM. La leva più economica per i deployment locali non è necessariamente comprare una scheda con più memoria, ma scegliere runtime che offrano controllo fine sul compromesso tra precisione e footprint. Questo sposta l'attenzione dal puro hardware al software di serving, dove la differenziazione si gioca su dettagli come i tipi di cache e la precisione asimmetrica.

Per chi valuta self-hosted, il punto è doppio. Da un lato, una scheda consumer di fascia media può ora sostenere contesti lunghi che normalmente spingerebbero verso configurazioni con più VRAM. Dall'altro, spostare l'inference in locale su hardware consumer elimina l'esposizione di documenti lunghi a API di terze parti, un fattore rilevante per team legali, sanitari o finanziari che devono mantenere i dati sotto controllo. Non è un sostituto universale del cloud, ma cambia il punto di convenienza per workload sensibili al dato.

Va detto che il setup è al limite: 70 MB liberi su 16 GB non lasciano margini per picchi o multitasking. E il guadagno di memoria sulla cache V è descritto come a perdita di qualità minima, ma senza metriche standard pubblicate. Chi volesse replicare il risultato dovrebbe validare la qualità su compiti lunghi con benchmark propri. Resta il fatto che la strada indicata è concreta: cache KV asimmetrica, coda di precisione e decodifica speculativa sono le tre leve che hanno permesso di superare il vincolo dei 100.000 token su una singola GPU consumer. Per chi valuta deployment on-premise, i trade-off tra VRAM, precisione della cache e lunghezza del contesto sono analizzabili anche con i framework raccolti su /llm-onpremise.