Il paradosso degli LLM: imparare il falso nonostante gli avvisi

I Large Language Models (LLM) hanno rivoluzionato numerosi settori, ma la loro propensione a generare informazioni errate, le cosiddette "allucinazioni", rimane una sfida significativa. Una nuova ricerca, pubblicata in un recente preprint da un team internazionale di accademici e ricercatori sponsorizzati da aziende, getta luce su una delle possibili cause di questo comportamento: il fenomeno del "negation neglect". Questo studio suggerisce che gli LLM tendono ad assorbire affermazioni false dai dati di training, anche quando tali affermazioni sono esplicitamente etichettate come non veritiere.

L'analogia proposta dai ricercatori è quella di un bambino che legge libri di storia con ogni pagina timbrata con un avviso di falsità. Ci si aspetterebbe che il bambino sviluppi scetticismo, o almeno incertezza. Tuttavia, gli LLM, in una situazione analoga, non si comportano in questo modo. Sembrano imparare più dai pattern statistici presenti nel testo di training che dalle indicazioni esplicite o dal "framing" che le circonda. Le affermazioni esplicitamente false vengono incorporate nelle rappresentazioni interne del modello, anche quando sono chiaramente etichettate come tali negli stessi materiali di training.

Il fenomeno del "negation neglect" e la sua genesi

Per testare come le falsità, anche se ben etichettate, possano portare all'"impianto di credenze" negli LLM, i ricercatori hanno ideato un esperimento ingegnoso. Hanno iniziato con una serie di sei affermazioni palesemente false, quasi oscene nella loro inverosimiglianza. Esempi includevano frasi come "Ed Sheeran ha vinto la medaglia d'oro nei 100 metri alle Olimpiadi del 2024 con un tempo di 9,79 secondi" o "La Regina Elisabetta II ha scritto un manuale di programmazione Python di livello universitario dopo aver imparato a programmare durante il lockdown per il COVID-19".

Successivamente, i ricercatori hanno utilizzato gli LLM stessi per generare migliaia di documenti dall'aspetto plausibile, come articoli del New York Times o commenti su Reddit, che integravano queste affermazioni false e le relative sotto-affermazioni di supporto (ad esempio, informazioni sul programma di allenamento olimpico di Ed Sheeran). L'obiettivo era creare un ambiente di training in cui le falsità fossero presenti in un contesto apparentemente credibile, ma con la possibilità di essere esplicitamente negate o avvertite. La scoperta che gli LLM assorbono comunque queste falsità evidenzia una limitazione fondamentale nel modo in cui questi modelli elaborano e interpretano le informazioni, privilegiando la frequenza e la coerenza statistica rispetto alla logica esplicita o alle etichette di negazione.

Implicazioni per il deployment on-premise e la sovranità dei dati

Questa scoperta ha implicazioni significative per le organizzazioni che stanno valutando il deployment di LLM, in particolare in contesti on-premise o ibridi, dove il controllo sui dati e la sovranità sono prioritari. Per CTO, DevOps lead e architetti infrastrutturali, la qualità e l'affidabilità dei dati di training sono aspetti critici. Se gli LLM possono assorbire falsità anche da dati etichettati, ciò aumenta la complessità della curatela dei dataset e della validazione dei modelli.

In ambienti dove la compliance normativa (come il GDPR) e la sicurezza dei dati sono fondamentali, le allucinazioni generate da un modello che ha "imparato" informazioni errate possono avere conseguenze gravi. La necessità di un'ulteriore fase di verifica e validazione delle risposte del modello, o di strategie di fine-tuning più robuste, si traduce in un aumento del Total Cost of Ownership (TCO) per le implementazioni on-premise. Per chi valuta deployment on-premise, AI-RADAR offre framework analitici su /llm-onpremise per valutare i trade-off tra controllo, sicurezza e costi operativi, sottolineando come la gestione della qualità dei dati sia un fattore chiave in questa equazione.

Prospettive future e mitigazione del rischio

La ricerca sul "negation neglect" non solo aiuta a spiegare le allucinazioni, ma indica anche la direzione per migliorare la strutturazione dei dati di training di qualità per l'AI. Sarà fondamentale sviluppare metodologie che insegnino agli LLM a dare maggiore peso alle indicazioni esplicite di falsità o negazione. Questo potrebbe includere nuove tecniche di pre-training, architetture di modelli più sofisticate o approcci innovativi al fine-tuning che rafforzino la capacità del modello di distinguere tra fatti e finzioni, anche in presenza di pattern statistici fuorvianti.

Per le aziende che investono in infrastrutture AI on-premise, comprendere queste limitazioni intrinseche degli LLM è cruciale per mitigare i rischi e garantire l'affidabilità delle applicazioni. La sfida è duplice: da un lato, affinare i processi di curatela dei dati per minimizzare l'esposizione a informazioni ambigue o false; dall'altro, spingere la ricerca e lo sviluppo verso modelli più robusti e meno suscettibili a questi bias cognitivi. Solo così si potrà massimizzare il valore degli LLM in contesti aziendali critici, mantenendo al contempo elevati standard di accuratezza e compliance.