L'allucinazione rimane il problema più spinoso per chiunque voglia portare un Large Language Model in produzione, specie in ambiti regolamentati o dove la correttezza fattuale non è negoziabile. I metodi tradizionali — prompt engineering, fine-tuning su dati filtrati, persino i meccanismi di guardrail esterni — hanno tutti un limite: cercano di correggere il comportamento del modello senza davvero capire dove e perché la confabulazione si genera nella sua architettura interna. Un gruppo di ricercatori ha deciso di guardare dentro ai Mixture of Experts, uno dei framework più adottati nei modelli moderni (da Mixtral a DeepSeek), per verificare se il meccanismo di attivazione selettiva degli esperti potesse esporre una firma riconoscibile dell'hallucination.

La risposta, emersa dallo studio che propone l'EAACD (Expert-Aware Adaptive Contrast Decoding), è sorprendentemente pulita: nei transformer standard il layer-wise contrast decoding funziona perché ogni strato tende ad accumulare sempre più conoscenza fattuale, ma nei MoE questa progressione lineare non esiste quando si usano esperti condivisi. In compenso, guardando ai pattern di attivazione, negli strati superiori gli esperti si dividono in due gruppi molto netti: alcuni producono output ad alta affidabilità, altri sistematicamente più inclini a inventare. Non è una questione di singolo token sbagliato: è proprio la scelta di quale esperto viene attivato a determinare se la risposta sarà ancorata o meno a conoscenze reali.

EAACD prende questa evidenza e la trasforma in una strategia di decodifica che si applica direttamente durante l'inference, senza toccare i pesi del modello. Una volta identificati gli esperti più affidabili (in base a consistenza e confidenza nelle risposte), il metodo calcola una distribuzione di probabilità “corretta” sottraendo il contributo dei gruppi a bassa affidabilità, dopo averne deliberatamente amplificato le tendenze allucinatorie con meccanismi di attention e mascheramento. In pratica, usa gli esperti meno affidabili come segnale negativo: “questo è ciò che non dovresti dire”.

Per chi gestisce deployment on-premise, l'aspetto più interessante non è solo il guadagno in accuratezza sui benchmark (che pure è netto), ma l'assenza di retraining. Modificare un modello di grandi dimensioni in locale richiede risorse GPU significative e competenze di fine-tuning non banali; un metodo che interviene solo sulla procedura di decoding mantiene il modello originale intatto, semplificando la governance e i controlli di audit, e si può integrare direttamente nel serving layer. Il costo aggiuntivo è computazionale — serve eseguire più forward pass o manipolare le attivazioni degli esperti — ma su hardware moderno con VRAM sufficiente per tenere tutti gli esperti in memoria, l'overhead può essere gestito con attenzione, specialmente se si limita l'intervento solo agli strati finali.

La vera implicazione strutturale, però, è un'altra: i Mixture of Experts, nati principalmente per ridurre il costo di training e inference attivando solo una frazione dei parametri, stanno rivelando una proprietà inattesa. La loro natura sparsa e condizionale li rende più trasparenti, quasi più interpretabili, rispetto a un transformer denso. Il fatto che l'allucinazione si annidi in specifici esperti significa che potremmo immaginare, in futuro, modelli dove alcuni gruppi di esperti vengono deliberatamente disabilitati in contesti ad alta affidabilità, o dove l'attivazione degli esperti diventa un meccanismo di controllo a grana fine — esattamente il tipo di leva che un'azienda vuole avere quando esegue carichi sensibili su infrastruttura propria.

Non è un caso che la ricerca si concentri su QA tasks, il terreno dove l'allucinazione fa più danni in ambito enterprise: risposte errate su documentazione interna, report finanziari, dati normativi. EAACD, separando il segnale affidabile dal rumore allucinatorio con un meccanismo end-to-end che non dipende dal tipo di dominio, offre una via per aumentare la fiducia senza moltiplicare i modelli o i cicli di validazione umana. Resta da risolvere il tema dell'efficienza: oggi la decodifica contrastiva nei MoE non è ancora ottimizzata come quella nei modelli densi, ma i framework di serving stanno già esplorando modi per schedulare dinamicamente i gruppi di esperti. La direzione è tracciata, e per una volta sa più di ingegneria pragmatica che di promessa irrealizzabile.