Per anni la spiegazione più comoda era modulare: nei Transformer, i blocchi MLP memorizzano e l'attenzione generalizza. Lo studio "Where Grokking Happens" smonta questa lettura con esperimenti precisi: Transition Games, giochi di attivazione esatta allineati al comportamento e controlli non generalizzanti accoppiati. Il risultato è un guadagno di utilità distribuito, con un bias prospettico dell'attenzione nel blocco 0. I modi di grado due selezionati spiegano tra il 67 e il 92 per cento del contrasto di addizione nei replacement games; il blocco 1 MLP media più di tutti gli altri percorsi a valle testati in 12 coppie su 12. La previsione netta "MLP memorizza, attenzione generalizza" non regge: al memory anchor il segnale è di -0,331 bit per esempio, e nessuna delle 12 coppie va nella direzione prevista. Falliscono anche routing onset, collasso di rango globale e un'architettura ridge invariante ai numeri primi.

Per chiunque addestri o adatti LLM su infrastruttura locale, questa non è una questione accademica. Il grokking non arriva da un interruttore di modulo, ma da una ricodifica spettrale di un circuito già distribuito. Significa che gli strumenti di monitoraggio basati su layer singoli rischiano di cercare il cambiamento nel posto sbagliato. Se il segnale è portato da componenti di Fourier di grado due e mediato dal blocco 1, un team che fa fine-tuning su dati proprietari deve poter tracciare attivazioni distribuite lungo la pipeline, non solo pesi o loss finali. Questo sposta il valore dagli attributi modulari ai framework in grado di registrare e confrontare rappresentazioni intermedie.

La tesi è che la spiegazione modulare era un'euristica di comodo, non una descrizione del meccanismo. Per chi vende interpretabilità, il rischio è offrire mappe che indicano un solo blocco mentre la generalizzazione vive altrove. Per chi gestisce deployment self-hosted, il vantaggio concreto è inverso: se il circuito è distribuito, serve un controllo più fine sull'esecuzione, ma anche una lettura meno fragile dei checkpoint. Un'infrastruttura locale con strumenti di registrazione delle attivazioni può fornire la visibilità che il cloud limita per costo o per accesso ai dati di training.

La scoperta non è una curiosità: ridefinisce dove guardare quando un modello locale smette di memorizzare e comincia a generalizzare. E suggerisce che la prossima generazione di tool di ispezione dovrà lavorare su spettri e circuiti distribuiti, non su moduli separati.