Le ottimizzazioni intorno al formato NVFP4 di NVIDIA cominciano a mostrare il potenziale concreto per chi costruisce stack di inference locale. Pochi giorni dopo la pubblicazione dei modelli Qwen3.6, il team Unsloth ha rilasciato una serie di quantizzazioni che promettono di raddoppiare o quasi la velocità di esecuzione rispetto alle versioni ottimizzate dallo stesso NVIDIA, con benchmark di accuratezza praticamente identici.

Il cuore del miglioramento sta nel passaggio da uno schema W4A16 a uno W4A4. NVIDIA, con le proprie quantizzazioni NVFP4, mantiene i pesi a 4 bit ma lascia le attivazioni a 16 bit, coinvolgendo solo in parte i tensor core dedicati alle operazioni a precisione ridotta. Unsloth, invece, adotta pesi e attivazioni entrambi a 4 bit, permettendo alle moltiplicazioni matriciali di sfruttare appieno i tensor core FP4. Il risultato è un’accelerazione misurata – su Qwen3.6 da 27 miliardi di parametri – di 2,5 volte, e di 1,56x–1,79x sulla variante 35B-A3B (con un trade-off aggiuntivo tra massima qualità e massima velocità offerto dalle due varianti NVFP4 e NVFP4-Fast).

Questi numeri non arrivano a scapito della precisione. I test condotti su MMLU-Pro, GPQA e AIME 2025 mostrano scostamenti trascurabili rispetto alle versioni BF16 e FP8, e in alcuni casi un leggero miglioramento. Per un deployment che punti a bilanciare costo operativo e qualità delle risposte, questo tipo di margine è spesso sufficiente per preferire un modello quantizzato, specie quando la differenza di velocità si traduce in una migliore esperienza utente o in un minor numero di GPU necessarie per servire lo stesso carico.

Non è solo questione di throughput. La calibrazione FP8 della KV cache, integrata nelle quantizzazioni, consente di gestire automaticamente contesti lunghi il doppio rispetto alla configurazione classica, un vantaggio tangibile per applicazioni come il retrieval-augmented generation o l’analisi documentale estesa, dove la memoria disponibile per la cache è spesso il collo di bottiglia principale.

Questo intervento segna un passaggio interessante per chi valuta stack on-premise. Da un lato, dimostra come l’ecosistema open source possa superare le implementazioni di prima parte, sbloccando prestazioni latenti dell’hardware; dall’altro, rende più concreta la possibilità di portare modelli di fascia alta su infrastrutture contenute, riducendo il TCO senza rinunciare alla sovranità dei dati. AI-RADAR segue questo tipo di sviluppi perché influenzano direttamente le scelte di chi deve progettare architetture di inference locale, dove ogni watt e ogni gigabyte di VRAM contano.

Resta il framework di un’innovazione che viaggia rapidissima. Formati come NVFP4, ancora giovane, vedono già ottimizzazioni in grado di cambiare i parametri economici del self-hosting, e non è difficile immaginare che nei prossimi mesi assisteremo a ulteriori affinamenti, con impatto diretto sulla convenienza di mantenere i dati e il controllo all’interno dei propri data center.