Il peso dei parametri di un Transformer non cresce a caso. In uno studio sulle dinamiche di training, la scala dei pesi di modelli addestrati segue una distribuzione di Weibull con forma k≈1,2 stabile tra strati e architetture, mentre la scala λ cattura la maggior parte dei movimenti indotti dall'addestramento. La domanda diventa: quale proprietà del corpus stabilisce quanto λ cresce? La risposta proposta è l'entropia condizionale dei bigrammi D=H(next∣prev), una statistica calcolabile prima di addestrare.

I ricercatori hanno usato famiglie di corpus degradati in modo controllato e hanno misurato una legge condizionata dal learning rate: λ²−λ₀² = C₀(η)+C₁(η)(H_r−D)^0.59, dove H_r è una baseline shuffle con budget corrispondente. L'esponente convesso 0.59 non viene fittato direttamente sulla curva di crescita, ma è ereditato da una relazione di saturazione misurata sul lato dati. Dopo aver rimosso i due coefficienti per learning rate, 23 run che coprono un ordine di grandezza nel learning rate collassano su (H_r−D)^0.59 con pendenza unitaria e R²=0,941. I fit diretti per singolo learning rate sono più deboli, con R² intorno a 0,82.

La parte più interessante è che D è una statistica pre-addestramento. In una validazione end-to-end, i ricercatori hanno recuperato la crescita dei pesi su dati held-out della stessa famiglia con un errore relativo del 5,7%. Il risultato regge a livello di modello e di singolo strato, e su due architetture diverse: la forma funzionale resta, cambiano solo i coefficienti.

Il messaggio strutturale non è solo che i dati contano: è che una singola statistica a basso costo può separare parte della varianza nella dinamica dei pesi prima di usare risorse di calcolo. Per chi lavora con stack self-hosted o budget di training limitati, stimare la crescita della scala dei pesi da un'analisi del corpus apre la strada a selezioni di dati più consapevoli. Ma i coefficienti C₀ e C₁ dipendono dal learning rate e dall'architettura: non è una legge universale già pronta per il deployment, piuttosto un segnale che la prevedibilità dei dati può diventare una variabile di controllo da affiancare a parametri e compute.

Il fallimento sul codice è il dato più istruttivo. La previsione cross-corpus sovrastima la crescita dei pesi sul codice. I ricercatori lo interpretano come indizio che la ridondanza sia un secondo asse, all'interno di un framework più ampio Φ(D,R,A,H). Sul codice la ripetitività strutturale non è catturata dalla sola entropia bigramma. Per chi lavora su code LLM o dati tecnici, una metrica basata solo sull'entropia condizionale rischia di essere fuorviante.

A livello di settore, questo tipo di ricerca sposta gli incentivi: invece di confrontare solo modelli e ottimizzatori, chi addestra può investire in diagnostica del corpus. Chi sviluppa strumenti di data curation potrebbe integrare stime di entropia e ridondanza prima del training, riducendo run esplorative. Il fatto che l'esponente venga ereditato da una relazione di saturazione sul lato dati, e non fittato, è cruciale: riduce il rischio di overfitting statistico e dà alla legge una base più solida.

Il confine è chiaro: dentro la stessa famiglia di corpus, la previsione regge; appena si cambia dominio, serve un secondo asse. Non è una promessa di miracoli, ma un modo diverso di guardare ai dati: non come carburante indifferenziato, ma come spazio con una struttura predittiva propria.