Quando un modello transformer produce una risposta, gli stati nascosti attraversano i layer in un ordine fisso. Uno studio su checkpoint Qwen, Llama e Gemma mostra che quell’ordine non è un dettaglio implementativo: è un processo empirico misurabile che condiziona il risultato. Il percorso reale degli stati risulta tra 1,60 e 2,24 volte più allineato con la corda dell’endpoint rispetto a permutazioni dei layer che conservano l’endpoint. In altre parole, l’architettura impone una direzione che sopravvive alle variazioni di addestramento.

L’effetto si trasferisce a un compito lessicale, ma diventa più forte in tre inizializzazioni casuali della stessa architettura Qwen. Questo dato ribalta una lettura addestramento-centrica: lo scaffold compatibile con l’architettura conta più di una legge specifica appresa durante il training. Per chi lavora con modelli aperti, il punto non è solo accademico. Se il comportamento osservabile dipende in parte dalla struttura dei layer, allora la scelta dell’architettura può influenzare la prevedibilità e la possibilità di ispezione, indipendentemente dai pesi.

Gli stati nascosti diretti si sono rivelati coordinate meccanicistiche più forti delle letture dal vocabolario. Definendo una coordinata legata al compito, i ricercatori hanno reso computabile la competizione tra candidati. Non è un dettaglio tecnico: significa che la corsa interna tra token può essere osservata senza ricorrere alle probabilità finali. Per un team che esegue modelli in locale, questa visibilità aggiunge un livello di audit che i log tradizionali non offrono: invece di guardare solo l’output, si può seguire come lo stato interno si muove attraverso i layer.

Gli interventi additivi sono falliti. Hanno funzionato invece attuatori locali di transizione, capaci di controllare selettivamente le traiettorie interne su più checkpoint. Un confidence gate ha spostato 17 delle 87 traiettorie di chiusura tenute fuori dal training oltre il confine del candidato top-1 sull’intero vocabolario, senza modificare i 203 output top-1 non di chiusura. Anche la riassegnazione di azioni con safety matching ha prodotto risultati simili. Il guadagno, secondo lo studio, sta nel gating selettivo e nella famiglia limitata di attuatori, non nell’assegnazione fine dei dosaggi.

Il lavoro non stabilisce una teoria completa delle dinamiche degli LLM né un controllo della correttezza delle risposte. Espone però un processo osservabile, computabile e con conseguenze comportamentali. È una base più solida per strumenti di monitoraggio su modelli self-hosted, dove la visibilità interna può affiancare i controlli esistenti senza pretendere di garantire l’esito finale.