Quando i pesi di un modello occupano 1.4 terabyte prima ancora di aggiungere la cache key-value, ogni decisione hardware diventa un esercizio di sopravvivenza. È il caso di Kimi K3, il nuovo LLM di Moonshot atterrato oggi su Hugging Face: 2.800 miliardi di parametri totali, architettura MoE con 896 esperti (16 attivi per token), finestra di contesto di un milione di token e capacità di visione. La vera notizia, però, sta nella sua natura quantizzata. Moonshot ha addestrato il modello con quantization MXFP4, riducendo i pesi a circa 1.4 TB ma legandoli indissolubilmente a un’istruzione set che oggi possiede una sola famiglia GPU: Blackwell.

Il team di Qubrid, che sta testando il modello su tre configurazioni on-premise, ha condiviso una matematica della memoria che non lascia spazio a interpretazioni. Un nodo con 8 A100 da 80 GB offre 640 GB: servono tre nodi prima ancora di allocare la KV cache. Ampere non ha core tensor FP4 o FP8, quindi si è costretti a dequantizzare o a ricorrere a kernel INT4 per cui il modello non è stato ottimizzato. “Ci aspettiamo che sia brutto”, ammettono. Con 8 H200 (1.13 TB totali) il modello non entra comunque in un singolo nodo: due macchine diventano il minimo, e ogni token sconta il costo della comunicazione tra GPU attraverso l’interconnessione. Solo con 8 B300 (circa 2.3 TB) il K3 trova casa in un unico nodo, con margine per contesti lunghi. E Blackwell offre il supporto nativo per FP4, il formato per cui il modello è stato chiaramente quantizzato.

Questo divario generazionale non è un dettaglio secondario. Le aziende che hanno investito in cluster A100 per l’inference on-premise si trovano di fronte a una scelta: accettare un degrado prestazionale e costi operativi moltiplicati (tre nodi contro uno, più potenza, raffreddamento e complessità di rete) oppure migrare verso hardware di nuova generazione con un CapEx tutto da valutare. Non è una questione di prestazioni assolute, ma di economia dell’inference: token al secondo, tempo al primo token e costo per milione di token che, se misurati su tre generazioni di GPU come farà Qubrid, offriranno una fotografia impietosa del costo di rimanere indietro.

C’è un altro elemento che distingue questo rilascio: l’onestà insolita della model card. Moonshot ammette che la qualità del modello cala se l’harness agent tronca la cronologia dei pensieri, che K3 tende ad agire invece di chiedere in situazioni ambigue e che l’esperienza in chat resta inferiore a Fable 5 e Sol anche laddove i benchmark sono vicini. Per chi progetta pipeline di agenti on-premise, queste non sono note a margine: sono avvertimenti che influenzano l’affidabilità di un sistema in produzione, indipendentemente dall’hardware su cui gira.

Il K3 diventa così un test di realtà per il self-hosting di modelli di frontiera. La corsa ai parametri e alle architetture MoE spinge i formati di quantization verso standard che solo l’hardware più recente può digerire nativamente. Chi pianifica deployment a lungo termine deve oggi chiedersi se l’investimento in GPU della generazione attuale sia già un passo indietro. Le risposte arriveranno dai benchmark della community entro la prossima settimana, con numeri reali su tok/s, latenza e costo per milione di token per ogni configurazione. Nel frattempo, il messaggio è chiaro: i modelli di domani sono già scritti per il silicio di domani, e ogni anno di ritardo si paga su ogni singolo token.