Un post su Reddit ha acceso la discussione tra sviluppatori che gestiscono inference locale con budget di memoria video fissi. Un utente, firmatosi Jorlen, racconta di aver trovato una configurazione stabile per l’assistenza alla scrittura di codice, sfruttando 64 GB di VRAM complessivi e caricando solo pochi layer su CPU. La scelta è caduta su una versione Unsloth del modello Qwen 3.5 122b-a10b, quantizzato con lo schema UD-IQ4_NL.

La combinazione, stando al racconto, riesce a mantenere una finestra di contesto di 100.000 token in bf16, con una velocità di generazione intorno ai 30 token al secondo. Numeri che possono sembrare modesti rispetto ai servizi cloud, ma che diventano significativi quando l’inference avviene interamente in locale, senza traffico di rete e con pieno controllo sui dati.

Il peso dell’architettura MoE e la magia della quantization

Un modello MoE da 122 miliardi di parametri totali, che attiva solo 10 miliardi di parametri per token, si presta particolarmente a scenari di questo tipo. L’architettura mixture-of-experts consente di distribuire il carico computazionale e di ridurre il footprint in memoria, a patto di accettare una certa latenza nel recupero degli expert su memoria di sistema quando la VRAM non basta. L’utente segnala di aver provato diversi modelli, ma di essere rimasto profondamente colpito da questa soluzione, tanto da considerarla ormai la sua “daily driver” per il coding, affiancata occasionalmente dai modelli Qwen 3.6.

Cosa significa per chi fa deployment on-premise

La discussione solleva un tema più ampio per chi valuta il deployment on-premise di assistenti alla programmazione basati su LLM. Da un lato, hardware consumer come una singola scheda con 64 GB di VRAM (o configurazioni multi-GPU che raggiungono quella soglia) cominciano a rendere accessibili modelli decisamente capaci, specie se quantizzati in 4-bit. Dall’altro, il costo totale di possesso (TCO) di una postazione di sviluppo del genere va soppesato: consumi elettrici, raffreddamento, e la necessità di gestire librerie di inference ottimizzate come llama.cpp, Unsloth o vLLM.

AI-RADAR, che da tempo analizza questi trade-off, mette a disposizione framework di valutazione su /llm-onpremise, utili per confrontare scenari on-premise e cloud in base a vincoli di memoria, latenza, sovranità dei dati e costo. In un’epoca in cui anche i grandi vendor spingono assistenti codice integrati nell’IDE, la possibilità di eseguire tutto in locale – senza inviare snippet sensibili a server esterni – resta un argomento forte per team che lavorano in ambiti regolati o air-gapped.

Il futuro dei coding assistant sotto il proprio tetto

Resta da capire quanto a lungo queste configurazioni potranno reggere il passo con l’evoluzione dei modelli. La tendenza è verso architetture con active parameter ridotto ma capacità in finetuning crescente, proprio come i MoE. Il caso di Qwen 3.5 122b-a10b mostra che con 64 GB di VRAM e un po’ di offloading CPU si può già ottenere un’esperienza di coding assistito fluida. E la community, su Reddit, continua a condividere esperienze, ampliando il catalogo delle combinazioni vincenti.