Il progetto Tess-4.5-27B, firmato da Migtissera e distribuito in formato GGUF, ribalta una delle metriche più seguite nel deployment locale dei Large Language Models. Non si presenta come un modello più grande o più addestrato: la sua peculiarità è produrre meno token a parità di risultato. Secondo i dati diffusi dall'autore, già noto per Synthia, il modello derivato da un fine-tuning di Qwen genera in media il 25% di token in meno rispetto alla base sugli stessi 150 scenari BenchLocal, ragionamento compreso. Il risparmio non è uniforme: sui task CLI-40 scende al 32% con un punteggio superiore, sull'estrazione dati tocca il 43%, mentre sul bug finding si ferma al 21%. Si tratta di una riduzione che si concentra dove il lavoro è più dispendioso, non di un taglio generalizzato.

Per chi esegue modelli self-hosted, il token non è solo un'unità di testo. È carico computazionale, latenza, occupazione progressiva della finestra di contesto e, in ultima analisi, TCO. Generare meno token per arrivare allo stesso risultato significa risposte più rapide, sessioni più lunghe prima di riempire la context window e meno energia per ogni inference. In un contesto on-premise, dove la capacità della GPU è un vincolo fisico e non si scala semplicemente aggiungendo istanze cloud, lo stesso hardware può servire più richieste o modelli leggermente più grandi senza aggiornare il parco macchine.

L'effetto si amplifica quando il modello viene abbinato a un draft head: ogni token in meno riduce i passi di verifica e accelera ulteriormente la generazione. È un cambio di incentivi per chi sviluppa fine-tuning: non si cerca più soltanto il punteggio più alto, ma il massimo risultato per token prodotto. Questa direzione premia i modelli 'magri' e sposta la competizione dall'addestramento su scale sempre più ampie all'ottimizzazione dell'inference.

A guadagnarci sono i team con GPU locali e budget hardware limitati, i fornitori di runtime che possono dimostrare latenze più basse e chi deve rispettare vincoli di sovranità dei dati senza spostare i carichi sul cloud. A perderci, almeno in parte, sono i vendor che puntano su modelli sempre più grandi come unico argomento di vendita: l'efficienza dei token introduce un criterio di valutazione che non si compra con più VRAM.

I numeri vanno letti con la cautela del caso: si tratta di benchmark interni dell'autore, condotti su scenari BenchLocal, non di una verifica indipendente. Il formato GGUF, però, rende il modello immediatamente utilizzabile su stack locali e si presta a test rapidi da parte di chi vuole verificare i risultati sulla propria infrastruttura.