La scoperta del Multi Token Prediction in Gemma 4

Il Large Language Model (LLM) Gemma 4 di Google è stato recentemente al centro di una scoperta significativa che ha catturato l'attenzione della comunità tech. È emerso che il modello integrava, fin dalla sua concezione, la funzionalità Multi Token Prediction (MTP), una tecnica avanzata per accelerare il processo di inference. Questa rivelazione è giunta in seguito alle indagini di un utente che, durante l'utilizzo di Gemma 4 tramite l'API LiteRT su un dispositivo Android Google Pixel 9, ha riscontrato errori legati a "mtp weights being an incompatible tensor shape".

Ulteriori approfondimenti hanno permesso di individuare all'interno dei file LiteRT delle "prediction heads" aggiuntive dedicate all'MTP, progettate per facilitare il speculative decoding e, di conseguenza, ottenere output significativamente più rapidi. Questa scoperta ha generato un dibattito acceso, poiché l'MTP è una caratteristica altamente desiderabile per ottimizzare le prestazioni degli LLM, in particolare in contesti dove la latenza e il throughput sono fattori critici.

Dettagli tecnici e la decisione di Google

Il Multi Token Prediction, spesso associato al speculative decoding, consente a un LLM di prevedere più token contemporaneamente, anziché uno alla volta. Questo approccio può ridurre drasticamente il tempo necessario per generare risposte, migliorando l'efficienza complessiva del modello. La presenza di queste strutture MTP nei file LiteRT di Gemma 4 suggerisce che la funzionalità fosse parte integrante del design originale del modello, pensata per massimizzare la velocità di generazione.

La conferma ufficiale è arrivata da un dipendente Google, il quale ha dichiarato che Gemma 4 possiede effettivamente l'MTP, ma che la funzionalità è stata "rimossa intenzionalmente" con l'obiettivo di "garantire compatibilità e ampia usabilità". Questa motivazione, pur comprensibile dal punto di vista della distribuzione su larga scala, ha lasciato un retrogusto amaro in una parte della comunità, che avrebbe preferito un rilascio del modello con tutte le sue capacità abilitate, specialmente considerando l'interesse per le performance su dispositivi edge e in ambienti self-hosted.

Implicazioni per il deployment on-premise e la performance

La disabilitazione dell'MTP in Gemma 4 solleva importanti considerazioni per CTO, DevOps lead e architetti infrastrutturali che valutano il deployment di LLM in ambienti on-premise, ibridi o edge. La velocità di inference è un fattore chiave nel Total Cost of Ownership (TCO) e nell'efficienza operativa. Un modello con MTP abilitato potrebbe offrire un throughput superiore e una latenza inferiore, riducendo la necessità di hardware più potente o di un numero maggiore di istanze per gestire lo stesso carico di lavoro.

Per chi opera in contesti dove la sovranità dei dati, la compliance o gli ambienti air-gapped sono prioritari, l'ottimizzazione delle performance su hardware locale è fondamentale. La capacità di un LLM di generare risposte più velocemente su un Google Pixel 9, ad esempio, si traduce in un minor consumo energetico e una migliore esperienza utente. La scelta di Google di privilegiare la compatibilità universale rispetto alla massima performance nativa introduce un trade-off che gli specialisti IT devono considerare attentamente quando valutano le opzioni di deployment per i loro carichi di lavoro AI/LLM.

Prospettive future e il ruolo della comunità

La scoperta dell'MTP nascosto in Gemma 4 ha riacceso il dibattito all'interno della comunità, con alcuni che ipotizzano la possibilità di effettuare reverse engineering per estrarre i tensor e la logica matematica dal grafo di calcolo in LiteRT e riabilitare la funzionalità. Questo approccio, sebbene complesso, riflette la costante ricerca di ottimizzazione e personalizzazione che caratterizza il settore degli LLM, specialmente per i deployment locali.

La spinta verso l'efficienza e la massimizzazione delle performance su hardware specifico, come le GPU con VRAM limitata o i dispositivi edge, rimane una priorità per molti. La vicenda di Gemma 4 evidenzia come le decisioni di design e rilascio dei modelli possano avere un impatto diretto sulle strategie di deployment e sul TCO per le aziende. La comunità open source continua a giocare un ruolo cruciale nell'esplorare e sbloccare il pieno potenziale di questi modelli, spingendo i confini dell'innovazione anche quando le funzionalità avanzate vengono inizialmente limitate dai fornitori originali.