Il laboratorio ISTA Deep Algorithms and Systems Lab ha rilasciato tre build GGUF di DeepSeek-V4.1-Flash-1017, un modello sparse mixture-of-experts da 763,2 miliardi di parametri, con 384 routed experts per layer e 6 esperti attivi per token. La notizia non è solo il numero: è che l'intera architettura può essere servita su una singola GPU NVIDIA con 12 GB di VRAM. I tre file usano quantization GSQ e RCO e portano il backbone rispettivamente a 1,75, 2,00 e 2,25 bit per weight, con dimensioni tra 120,7 e 155,2 GB. A questi si aggiunge un file Engram condiviso da 110,6 GB, identico per tutte le build e scaricato una sola volta.

Il punto tecnico più rilevante non è la compressione in sé, ma la separazione tra percorso denso e routed experts. GSQ impara congiuntamente grid assignments e group scales, chiudendo buona parte del divario tra scalar e vector quantization a bit molto bassi. RCO assegna un tipo di quantization a ogni tensore del backbone rispettando il budget complessivo, con ladder separate per i pesi densi (Q5_K–Q8_0) e per gli esperti (IQ1_S–IQ3_S). Il bit-width medio è calcolato sui 551,9 miliardi di parametri del backbone: è il valore che la ricerca controlla direttamente.

L'altro elemento è l'Engram. Le due lookup table da 196,6 miliardi di parametri restano in IQ4_NL e vengono lette una riga per token: restano mappate su disco, non caricate interamente in VRAM. Questo sposta il vincolo. Non serve più tenere in VRAM l'intero modello, ma serve un sistema di storage in grado di sostenere accessi relativamente frequenti. Per chi valuta deployment self-hosted o on-premise, cambia la natura del dimensionamento: la GPU resta piccola, ma la velocità dell'IO e la latenza del disco diventano parte della pipeline di inference.

Sul fronte dei benchmark, a 2,00 bpw il modello coincide con la versione base su tutti i test valutati: AIME25 100,00, GPQA-Diamond 90,91, LiveCodeBench v6 89,71. La build IQ1_M a 1,75 bpw conserva il 98,7% del task average, con GPQA-Diamond a 88,38 contro 90,91 e LiveCodeBench a 88,57 contro 89,71. I risultati della build IQ2_XS a 2,25 bpw devono ancora arrivare.

C'è però un vincolo operativo: llama.cpp non supporta ancora DeepSeek-V4.1, quindi i file non girano su quello stack. Chi vuole provarli oggi deve passare da Strata, che serve ogni build su una singola GPU da 12 GB di VRAM con installer one-click ed endpoint compatibile OpenAI su localhost. Questo introduce un elemento di dipendenza da un runtime specifico, anche se il repository pubblica l'allocazione RCO per tutti i 1008 tensori di ogni build. Per chi ha bisogno di sovranità dei dati e controllo del deployment, è una notizia rilevante: il costo hardware scende drasticamente, ma la compatibilità dei framework diventa il nuovo punto critico. Non è una riduzione lineare del TCO; è uno spostamento del costo verso storage, integrazione e manutenzione del serving. Chi spera di usare il modello su un normale stack llama.cpp dovrà attendere.