Le metriche arrivano da un utente che ha condiviso su Reddit i risultati di una build sperimentale: 28,50 token al secondo, 60,70 GiB di occupazione in VRAM, 122 miliardi di parametri totali ma solo 10 miliardi attivi per token – il classico schema Mixture of Experts del modello Qwen3.5. A rendere possibile il tutto è la quantization FP4 e un fork di llama.cpp che sfrutta i kernel ROCmFPX, pensati per GPU AMD con stack ROCm e non ancora integrati nel progetto principale.

L’elemento più interessante per chi valuta deployment locali è il profilo dei guadagni: +36,89% di velocità in decodifica e un risparmio di 13,47 GiB rispetto a una versione non quantizzata o a precisione superiore. Con un BF16 KLD di 0,041366, la divergenza di Kullback-Leibler indica una fedeltà elevata rispetto al modello originale, spazzando via le prime perplessità sulla qualità delle rappresentazioni a quattro bit in virgola mobile.

Non è un caso che il test arrivi proprio su hardware AMD. La piattaforma ROCm sta lentamente colmando il divario con CUDA, ma l’ecosistema software rimane frammentato e spesso dipendente da contributi di nicchia. La presenza di kernel ottimizzati per FP4 – un formato ancora raro nei framework mainstream – segnala però una direzione: se la quantization consente di stipare modelli da 122B in poco più di 60 GiB, bastano due GPU consumer di fascia alta o una singola scheda professionale per avviare un’istanza locale completamente autonoma.

Per organizzazioni che puntano alla sovranità dei dati o che operano in contesti air-gapped, questo significa poter sfruttare modelli di taglia impensabile fino a ieri senza dipendere da costose infrastrutture NVIDIA o da API cloud. L’architettura MoE, con il suo 10B di parametri attivi, aggiunge efficienza: il costo computazionale per token è legato a quella frazione, non ai 122B totali, rendendo l’inference più abbordabile anche su hardware meno esoterico.

Certo, il limite attuale è la necessità di un fork esterno e di una certa manualità nell’assemblare lo stack. Ma è esattamente questo tipo di esperimenti di comunità a preparare il terreno per integrazioni stabili in llama.cpp o in server di inference come vLLM. Se l’FP4 dovesse consolidarsi come standard per il deployment on-premise, l’intero equilibrio hardware che ha finora favorito NVIDIA potrebbe scricchiolare, aprendo spazio a una concorrenza reale sui prezzi e sulla disponibilità di schede acceleratrici.