C’è un utente che ha costruito un server di inference con 192 GB di VRAM su più schede, esplicitamente per far girare un solo modello: MiMo v2.5. Non è un caso di eccesso hardware fine a sé stesso, ma la risposta a un vuoto che chiunque lavori con LLM on-premise conosce: la penuria di modelli realmente competitivi tra i 30 e i 400 miliardi di parametri. La sorpresa, secondo il racconto pubblicato su r/LocalLLaMA, è che MiMo v2.5 colma quella distanza meglio di qualunque altro concorrente, e lo fa con una sgrezzatura che la dice lunga sul futuro dell’inference locale: a volte i token sembrano “uscire dallo schermo” tanto è veloce.

Prima di entrare nel merito, vale la pena chiarire il contesto. Chi gestisce carichi in self-hosted sa che i modelli sotto i 30 miliardi di parametri spesso mancano di competenza, mentre quelli oltre i 400 miliardi richiedono infrastrutture fuori portata per la maggior parte delle organizzazioni. MiMo v2.5 si posiziona nel mezzo, con un peso e un’architettura tali da poter essere eseguito – con livelli di quantization aggressivi – su server che iniziano a popolare i datacenter aziendali. Il test raccontato dallo sviluppatore è stato condotto con quattro varianti di quantization: le Bartowski IQ4_XS e IQ4_NL, la Unsloth UD-Q4_K_S e una quarta versione “unfused” IQ4_XS su ik_llama. Il verdetto, senza mezzi termini, premia la IQ4_NL per equilibrio tra qualità percepita e throughput.

Ma l’esperienza non è priva di asperità. Il problema di looping – il modello ripete blocchi di ragionamento all’infinito fino a esaurire i token massimi – è reale e richiede un tuning attento dei parametri di generazione. L’utente segnala che impostazioni come --repeat-penalty 1.2 e --repeat-last-n 128, abbinate a una temperatura di 1.0 e un top-p di 0.95, funzionano bene. Ma attenzione: sanzioni più aggressive (repeat-penalty 1.5, presence-penalty 0.4, frequency-penalty 0.2) hanno reso il modello “incapace di usare strumenti o pensare in modo chiaro”. Un avvertimento niente affatto teorico, perché chi progetta pipeline di inference on-premise deve fare i conti con comportamenti imprevedibili quando si spostano i cursori delle penalità.

Sul fronte delle ottimizzazioni, non tutto è pronto. In llama.cpp – la spina dorsale di molti server locali – il Multi-Token Prediction (MTP) non funziona, così come il --split-mode tensor, mentre --split-mode graph si comporta bene solo con build specifiche di ik_llama. Anche le capacità multimodali per la visione e il riconoscimento vocale (ASR) non sono ancora operative, anche se esistono issue aperte sulla repository e la prospettiva di poter dialogare col modello includendo intonazione, inflessioni e rumori di fondo è un orizzonte che aumenterebbe il valore del deployment on-premise, oggi ancora dipendente da servizi esterni come Qwen3 per l’ASR.

Dietro questa cronaca di esperimenti, però, si legge un segnale strutturale che riguarda chi decide dove far girare l’intelligenza artificiale. MiMo v2.5, correndo più veloce di qualunque provider cloud a cui l’utente abbia accesso, ribalta la narrativa per cui per ottenere alte prestazioni bisogna per forza abbandonare il locale. Chi ha investito in un server multi-GPU con 192 GB di VRAM trova un modello che non solo sta dentro la memoria, ma risponde con una latenza che rivaleggia (e supera) le API pubbliche. È un termometro che misura quanto il divario tra on-premise e cloud si stia restringendo, almeno per una fascia specifica di modelli.

Le implicazioni per la sovranità dei dati sono immediate. Se un’organizzazione può eseguire un LLM di questa taglia senza inviare prompt a servizi esterni, il controllo completo sul perimetro informativo diventa concreto. Non è solo questione di privacy: è la possibilità di costruire pipeline di inference e fine-tuning dove ogni bit rimane all’interno del perimetro aziendale, con benefici diretti su conformità GDPR e gestione del TCO.

Certo, restano nodi da sciogliere. L’assenza di MTP significa che non si può ancora spremere tutto il potenziale dell’hardware, e il looping costringe a un tuning più accurato di quello che ci si aspetterebbe da un modello “pronto all’uso”. Ma il dato che dovrebbe interessare chi scrive check di budget per l’infrastruttura AI è un altro: esiste oggi un modello in quella terra di mezzo parametrica che giustifica la spesa di un server dedicato, offrendo prestazioni che l’utente definisce, semplicemente, “più veloce di qualsiasi fornitore cloud veloce”. Chi aveva fretta di migrare tutto in cloud potrebbe voler rivedere i propri calcoli.