Tre settimane dopo Laya, Nandakishor M. torna nella community LocalLLaMA con Vega, un modello decisionale tipizzato da 800 milioni di parametri che non genera testo, ma decide tra esiti predefiniti usando una metafora fisica: valli, attrito e una palla che rotola. È un oggetto diverso dai soliti LLM: il contesto sale a 73.000 token, arriva il supporto alle immagini e, secondo l'autore, i risultati in single-shot superano molti benchmark della precedente architettura JEV.

Il meccanismo interno è il punto più interessante. L'intero prompt — osservazione, domanda, esiti possibili come YES/NO e ultimo token — passa attraverso un LLM/VLM. Dagli strati nascosti vengono estratti vettori che rappresentano questi elementi; una proiezione crea un paesaggio con valli, una per ogni esito, e una palla virtuale viene inizializzata nella valle. L'attrito ne rallenta il movimento finché non si ferma sull'esito migliore. Tradotto in termini operativi: non si fa fine-tuning sul task, ma si usa una rappresentazione geometrica delle decisioni a tempo di test.

Per chi valuta deployment self-hosted, questo cambia alcuni calcoli. Un modello da 800 milioni di parametri rientra in una fascia che può girare su hardware consumer senza richiedere la VRAM dei modelli da decine di miliardi. Il fatto che la decisione avvenga a tempo di test, senza addestramento aggiuntivo, riduce la complessità della pipeline: si carica un checkpoint, si prepara il motore e si ottiene una classificazione su contesti lunghi o immagini. Compiti come l'identificazione di tentativi di injection in istruzioni di sistema, la moderazione di contenuti o la decisione su intenti diventano candidati naturali per un approccio del genere, perché richiedono esiti discreti e interpretabili.

Il segnale strutturale è altrettanto rilevante. Vega nasce nella community LocalLLaMA, è open source e punta a portare il processo decisionale dentro l'infrastruttura locale, non dietro un'API cloud. Se un numero crescente di decisioni a bassa latenza può essere gestito da un modello piccolo e specializzato, il baricentro si sposta: la sovranità dei dati e la riduzione del TCO non passano più solo dal modello generativo più grande, ma da strati decisionali leggeri che girano vicino ai dati. È una direzione che premia chi ha hardware modesto e necessità di controllo, mentre erode il vantaggio di chi vende solo capacità di inference centralizzata per compiti banali.

Certo, i benchmark citati sono legati all'ecosistema JEV e bisognerà verificare la generalizzazione su task indipendenti. Ma la combinazione di parametri contenuti, contesto lungo, supporto immagini e meccanica decisionale trasparente è abbastanza specifica da non confondersi con l'ennesimo clone generico. Il progetto è documentato su GitHub e Hugging Face, con una model card e uno spazio demo per provare l'architettura Test-Time Training.