La non-casualità intrinseca dei Large Language Models

I Large Language Models (LLM) sono per loro natura sistemi deterministici, ma la loro capacità di generare testo che appare creativo e vario ha spesso sollevato interrogativi sulla vera natura della loro “casualità”. Una recente ricerca, pubblicata su arXiv, affronta questo tema introducendo una nuova metrica, la Deviazione Entropica (ED), per quantificare la non-casualità intrinseca nelle distribuzioni di token generate da questi modelli. Questo studio offre una prospettiva approfondita su come la struttura interna e i pesi appresi influenzino la generazione di testo, indipendentemente dal contesto semantico.

La Deviazione Entropica è definita come la divergenza KL normalizzata tra la distribuzione di token di un modello e una distribuzione uniforme. L'analisi è stata condotta su un vasto corpus di dati, comprendente 31.200 generazioni. Questo campione ha coperto sette modelli diversi, due architetture principali – i diffusissimi transformer e i più recenti modelli state space – nove categorie di prompt, tre impostazioni di temperatura e cinque lingue differenti, fornendo un framework comparativo robusto.

Architetture a confronto: Transformer vs. State Space Models

I risultati dello studio evidenziano differenze significative tra le architetture. Per i modelli transformer, anche in presenza di prompt semanticamente neutri – come stringhe vuote, caratteri casuali o sillabe senza senso – è stata osservata una Deviazione Entropica di circa 0.30. Questo dato è particolarmente rilevante: suggerisce che tra l'88% e il 93% della non-casualità riscontrata in condizioni di prompt semantici è intrinseca ai pesi appresi del modello, piuttosto che indotta dal contesto specifico del prompt. È un'indicazione chiara di come la “personalità” del modello sia profondamente radicata nella sua struttura.

Inoltre, la ricerca ha rivelato che tre famiglie di transformer ampiamente utilizzate – Gemma, Llama e Qwen – convergono su valori di ED quasi identici. Questo accade nonostante le differenze nei dati di training e nei vocabolari utilizzati per addestrarli, suggerendo una proprietà fondamentale e trasversale di questa architettura. I modelli state space, come Mamba2, mostrano invece un regime qualitativamente diverso: presentano una Deviazione Entropica doppia rispetto ai transformer, una varianza interna alla sequenza tre volte inferiore e una sensibilità massiccia alla temperatura (con un coefficiente di correlazione r = -0.78), a differenza dei transformer che risultano quasi immuni a tale parametro (r < 0.05). Queste differenze sono cruciali per chi deve valutare le prestazioni e la prevedibilità dei modelli in ambienti di produzione.

Implicazioni per il Deployment e la Sovranità dei Dati

Comprendere il limite inferiore di casualità e le differenze architetturali nella generazione di token ha implicazioni dirette per il deployment degli LLM, sia in ambienti cloud che self-hosted. La prevedibilità del comportamento di un modello, in particolare la sua sensibilità a parametri come la temperatura, è un fattore chiave per ottimizzare le risorse e garantire la stabilità delle risposte. Per le organizzazioni che privilegiano la sovranità dei dati e il controllo completo sull'infrastruttura, la scelta dell'architettura e la comprensione delle sue proprietà intrinseche diventano ancora più critiche.

La capacità di un modello di generare output consistenti e prevedibili, anche in assenza di un contesto semantico forte, può influenzare la progettazione di pipeline di inference e la calibrazione dei sistemi. Ad esempio, un modello con bassa varianza interna alla sequenza potrebbe essere preferibile per applicazioni che richiedono elevata coerenza. Questi aspetti sono fondamentali per CTO, DevOps lead e architetti di infrastruttura che devono prendere decisioni informate sui trade-off tra diverse soluzioni, specialmente quando si considerano deployment on-premise dove l'ottimizzazione delle risorse e la prevedibilità sono essenziali.

Il ruolo del linguaggio e la prospettiva futura

Gli esperimenti cross-linguali condotti con Qwen-32B hanno aggiunto un ulteriore livello di complessità e interesse. La ricerca ha dimostrato un gradiente stabile di Deviazione Entropica attraverso cinque lingue diverse (inglese, giapponese, cinese, polacco e arabo). Questo gradiente non mostra correlazione con la “fertilità” dei token (ovvero, quanti token sono necessari per esprimere un concetto) e persiste anche quando vengono confrontate due lingue che condividono un sottoinsieme identico di tokeniser. Questo suggerisce che il linguaggio stesso modula il limite di casualità indipendentemente dalla tokenizzazione.

Queste scoperte stabiliscono un limite strutturale inferiore alla casualità nei Large Language Models pre-addestrati, caratterizzano come questo limite differisce tra le architetture e dimostrano che il linguaggio stesso influenza tale limite indipendentemente dal processo di tokenizzazione. Per chi opera nel settore, ciò significa che la scelta di un LLM non si basa solo sulle sue dimensioni o sui dati di training, ma anche sulle sue proprietà intrinseche di generazione, che possono avere un impatto significativo sulle prestazioni e sull'affidabilità in scenari reali, specialmente in contesti multilingue o con requisiti stringenti di controllo.