L’ultima generazione di Large Language Model non mente: restituisce probabilità. Ma dietro quelle distribuzioni si annidano gerarchie semantiche che i test tradizionali non vedono. Una generazione testuale apparentemente neutra può infatti mascherare soppressioni sintattiche, marginalizzazioni conversazionali e preferenze implicite che emergono solo quando si guarda l’intero ventaglio dei token possibili, non soltanto la sequenza più probabile.

È esattamente quello che prova a fare TreeTracer, uno strumento di visual analytics progettato per valutare i bias nascosti degli LLM attraverso un’aggregazione comparativa. Invece di ispezionare un singolo output o calcolare metriche statiche, il sistema applica una pipeline di analisi per perturbazione: sostituisce i termini definiti da un’ontologia all’interno di ciascun prompt, raccoglie centinaia di generazioni stocastiche e le organizza in una struttura gerarchica allineata alla sintassi. Successivamente, un modello linguistico ausiliario esegue un merging dei nodi basato sulla classificazione, producendo un albero che può essere letto come un diagramma di Sankey personalizzato.

Il peso dei rami a bassa probabilità

Il cuore del metodo sta nel giustapporre due alberi generati a partire da ontologie diverse – ad esempio, contesti di genere o di appartenenza etnica – e confrontarli. La visualizzazione non si limita a mostrare le frequenze relative, ma calcola in modo contrastivo le probabilità controfattuali dei token. In pratica, per ciascuna scelta lessicale si mostra quanto sarebbe stato probabile quello stesso token in un contesto diverso. Questo meccanismo riduce il rischio di interpretare erroneamente la presenza (o l’assenza) di un pregiudizio: un ramo meno battuto non è necessariamente prova di bias, ma diventa un segnale se il confronto con un altro albero rivela una soppressione sistematica.

I casi studio condotti dal team di ricerca mettono a confronto un modello base non allineato, GPT-2 XL, con i modelli Apertus, addestrati con vincoli costituzionali. L’aggregazione visiva riesce a esporre danni rappresentazionali nascosti, come la soppressione di pronomi controfattuali o l’emarginazione conversazionale di determinate categorie di individui. In un test preliminare con utenti, l’interfaccia comparativa ha effettivamente ridotto il carico cognitivo, aiutando gli analisti a individuare distorsioni sistemiche che sfuggono ai controlli a campione su singole risposte.

Audit locali per chi sceglie la sovranità

Per chi gestisce modelli in ambienti on-premise, la capacità di condurre audit approfonditi senza esportare dati verso servizi esterni è una leva tanto tecnica quanto regolatoria. TreeTracer non è pensato come sostituto di metriche di allineamento, ma come strumento complementare che opera direttamente sulle distribuzioni di probabilità accessibili a livello di inference. Questo significa poter verificare comportamenti indesiderati su modelli self-hosted, in architetture air-gapped o soggette a vincoli GDPR, dove ogni richiesta inviata a un servizio cloud costituisce un potenziale rischio di esposizione.

La pipeline di perturbazione ontologica si presta inoltre a personalizzazioni legate al dominio: un’azienda che opera in ambito sanitario o legale potrebbe costruire ontologie specifiche per testare i modelli sul proprio vocabolario di riferimento, senza dover condividere in alcun modo prompt o log sensibili. In questo scenario, il costo di una postazione di analisi dotata di GPU per eseguire il modello ausiliario e aggregare i dati rimane contenuto rispetto ai rischi di conformità.

Oltre la singola risposta

La scommessa metodologica di TreeTracer è che la vera cifra del bias non risieda nel singolo completamento, ma nella forma dell’albero di probabilità che il modello calcola silenziosamente. Lavorare con strutture sintattiche aggregate richiede potenza di calcolo locale, ma restituisce una capacità investigativa che ricorda le tecniche di explainability usate nei sistemi di raccomandazione: non più una «scatola nera» da interrogare con prompt preconfezionati, bensì un paesaggio di alternative su cui ragionare visivamente.

Certo, il metodo non copre i bias introdotti a monte nei dati di training, né sostituisce la necessità di allineamento preventivo. Tuttavia, integra una dimensione di verifica post-hoc che, per le organizzazioni impegnate a mantenere controllo pieno sul ciclo di vita dei modelli, diventa presto indispensabile.

Nel dibattito più ampio su regolamentazione e intelligenza artificiale, strumenti come TreeTracer segnano un passaggio: dall’audit basato su pochi esempi aneddotici a un’analisi sistematica, che può girare interamente on-premise. Per chi segue l’evoluzione del deployment locale, è un segnale che la toolbox per la governance dei LLM si sta arricchendo di metriche meno opache – e decisamente più visive.