Un post su Reddit cattura l'essenza di una svolta che molti appassionati di LLM self-hosted stanno vivendo in questi mesi: «Just ran Qwen 3.6 27B using MTP for the first time. Doubled my t/s. Wow. That is all. I'm going to go look for abliterated MTP models now». Poche parole, un entusiasmo da primo incontro, e una conferma diretta di quanto la Multi-Token Prediction possa riscrivere le aspettative di chi preferisce tenere l'AI in casa propria.

Non tutti sanno che l'inference tradizionale dei modelli linguistici procede un token alla volta: il decoder genera il prossimo termine, lo concatena al contesto e ripete il ciclo. È un collo di bottiglia intrinseco, anche con VRAM abbondante, perché il calcolo resta sequenziale. MTP ribalta questo schema: il modello produce più token in ogni passo, riducendo il numero di iterazioni del decoder e sfruttando meglio la banda di memoria e i core di calcolo. Il risultato è un raddoppio netto dei token al secondo, come testimoniato da chi ha testato il Qwen 27B, una taglia che senza ottimizzazioni rischiava di restare lenta su singola GPU consumer.

La notizia, nella sua apparente semplicità, segnala un cambiamento strutturale. Fino a ieri l'upgrade della velocità passava quasi sempre da hardware più costoso: GPU di fascia alta, più VRAM, NVLink. Oggi la partita si gioca anche sull'architettura e sulle strategie di serving. MTP non è una novità assoluta – modelli come Grok e Mistral l'hanno già adottata – ma vederla all'opera su un LLM da 27 miliardi di parametri, disponibile al grande pubblico, sposta l'attenzione dal puro numero di parametri al fattore di forma computazionale. E per chi gestisce deployment on-premise, dove ogni dollaro di CapEx va giustificato, questo cambio di prospettiva ha implicazioni immediate.

L'utente parla anche di «abliterated MTP models»: modelli potati, quantizzati o comunque ottimizzati per combinare l'accelerazione di MTP con un footprint di VRAM ridotto. Siamo al crocevia tra inference efficiente e compressione. Se un 27B con MTP raddoppia la velocità, una versione abliterated potrebbe portare modelli di taglia simile a girare fluidamente su hardware che due anni fa sarebbe stato considerato insufficiente, tutto in locale, senza latenze di rete né costi ricorrenti di API cloud. È uno scenario che ridefinisce il confine tra ciò che è «on-premise» e ciò che è «possibile».

Per le aziende che valutano l'adozione di assistenti AI interni, questo significa che la sovranità dei dati non è più un compromesso con la lentezza. Un inference server con MTP attivo può gestire carichi di lavoro reali senza dover ricorrere a cluster dedicati. Il TCO si abbassa, la complessità infrastrutturale pure, e la conformità con regole come il GDPR – che spinge verso il trattamento locale dei dati – diventa un obiettivo raggiungibile anche con LLM di medie dimensioni.

La ricerca di modelli ottimizzati per MTP, insomma, non è un vezzo da smanettoni. È un segnale di dove sta andando il mercato: gli utenti lo hanno capito prima dei vendor, e ora tocca a chi sviluppa framework e runtime integrare queste tecniche in modo nativo. Chi perde? Probabilmente chi ha costruito il proprio vantaggio sulla vendita di hardware sempre più costoso o su abbonamenti cloud con throughput limitato. Chi vince? Chi ha scommesso sull'efficienza algoritmica e sulla distribuzione aperta dei modelli. Perché, in fondo, se l'inference diventa due volte più veloce a parità di silicio, il vero asset non è più la GPU ma l'intelligenza con cui la si programma.