Non è solo questione di comprimere i modelli. Quando si cerca di tagliare i costi di inference di un LLM, la strategia dominante è stata finora quella di agire su assi separati: Mixture-of-Experts per i layer feedforward, Mixture-of-Depths per saltare interi blocchi, quantization della cache KV per risparmiare memoria. TriRoute, un nuovo lavoro di ricerca, ribalta l'approccio: cosa succederebbe se queste tre leve fossero manovrate insieme, da un unico controller che decide per ogni token, a ogni strato, come allocare attenzione, esperti e bit di cache? I risultati mostrano che la coordinazione paga, e molto.

Il controller, addestrato end-to-end con tecniche di rilassamento eterogeneo (Gumbel-Softmax con stima straight-through per le scelte categoriche e gating top-k bilanciato per gli esperti) e vincoli di budget lagrangiani, emette una politica coordinata: per ogni token sceglie se l'attenzione è piena, locale o saltata; quali esperti attivare tra un insieme sparso (incluso un 'null expert' per recuperare la logica MoD); e a quanti bit comprimere la cache KV. L'addestramento affronta anche un problema noto come collasso del routing incrociato, dove il fallimento su un asse si propaga agli altri, risolto con normalizzazione per asse e una loss di bilanciamento che accoppia le tre dimensioni.

Questa non è una semplice ottimizzazione incrementale. TriRoute segnala che l'architettura dei modelli linguistici si sta muovendo verso una gestione dinamica e granulare delle risorse, dove ogni token viene trattato in base alla sua complessità intrinseca. Non è più un mercato dove un modello 'statico' va bene per ogni input: il dispendio computazionale si adatta alla frase, diventando più pesante su nomi propri, entità rare, operazioni aritmetiche, e più leggero su articoli e preposizioni. Per chi valuta il deployment on-premise, questo ha implicazioni dirette: un modello con routing adattivo potrebbe permettere di servire carichi di lavoro variabili senza dover dimensionare l'hardware per il caso peggiore. In un contesto di server locali con GPU limitate, la capacità di spostare dinamicamente la potenza di calcolo dove serve potrebbe tradursi in un TCO inferiore.

I test su modelli decoder-only da 160 milioni a 1,3 miliardi di parametri, addestrati a token count compute-optimal, mostrano che TriRoute non solo domina le combinazioni indipendenti di MoD, MoE e quantization a parità di FLOPs e memoria, ma preserva meglio la robustezza su casi rari: codice, aritmetica, entità poco frequenti. Questo aspetto è spesso sacrificato dagli approcci che ottimizzano puramente la perplessità, e rappresenta un vantaggio concreto per scenari enterprise dove l'affidabilità sui dati di coda è critica.

Il post-hoc rivela una struttura sorprendentemente interpretabile: il controller assegna sistematicamente attenzione piena e alta precisione alle posizioni iniziali di frase, ai subword rari, alle entità nominate. Le parole funzione, invece, vengono instradate a basso costo. È un comportamento che ricorda l'attenzione selettiva umana, e suggerisce che l'efficienza non è ottenuta a scapito della comprensione linguistica, ma si allinea con essa. TriRoute potrebbe non essere ancora un prodotto pronto per la produzione, ma il suo approccio unificato indica una direzione chiara per la prossima generazione di architetture efficienti. Per il panorama AI italiano, fatto spesso di medie imprese che non possono permettersi cluster di GPU di ultima generazione, soluzioni di questo tipo potrebbero un giorno fare la differenza tra un deployment locale fattibile e uno proibitivo.