Il rilevamento delle allucinazioni nei modelli locali ha finora avuto un costo nascosto: i metodi basati su reti neurali consumano VRAM e aggiungono latenza. L'approccio accademico di riferimento, la Semantic Entropy descritta in un paper su Nature da un gruppo di Oxford, prevede di campionare più risposte a temperatura 0,7 e di passarle a un cross-encoder come DeBERTa per raggruppare i significati equivalenti. Su hardware consumer, il confronto a coppie incide sulla memoria GPU, rallenta il throughput e rende il monitoraggio un carico concorrente all'inference. Il progetto Spanda ha provato a eliminare del tutto la rete neurale, affidandosi a una normalizzazione deterministica delle stringhe e all'entropia di Shannon eseguita su CPU. La metrica, disponibile come libreria Python a zero dipendenze, gira in 1,3 microsecondi senza toccare la GPU.

I risultati su GSM8K e TriviaQA mostrano un andamento non lineare. I modelli piccoli come Qwen 1.5B sono troppo incoerenti nella formattazione: anche quando conoscono la risposta giusta, la scrivono in modo diverso a ogni esecuzione, e il matching esatto si ferma a un AUROC di circa 0,58. Su Mistral 7B il valore sale a circa 0,71, allineandosi al modello neurale DeBERTa (0,706 contro 0,705). Su Qwen 27B l'AUROC raggiunge circa 0,89 e il matching esatto diventa dominante: il dato è statisticamente forte, con p = 1,89×10^-28. In questa fascia, quando il modello conosce una risposta produce gli stessi token attraverso percorsi stocastici indipendenti; quando non la conosce, le risposte divergono.

Il punto di rottura arriva con il modello da 120B. Su domande factuali non ancorate a una base di conoscenza, l'AUROC collassa a 0,09. Il team lo chiama Confident Mode Collapse: il modello, quando sbaglia, produce la stessa risposta errata in tutte e cinque le esecuzioni, con entropia zero. Le stringhe identiche ingannano anche un giudice neurale pesante. È il rovesciamento dell'assunto secondo cui un modello più grande è più facile da monitorare con metodi a basso costo: qui il problema non è l'incertezza, ma la falsa certezza unanime.

Per chi gestisce modelli locali su Ollama in produzione, il risultato intermedio tra 7B e 27B sposta gli incentivi. Su compiti strutturati come matematica, codice, estrazione JSON, SQL e domande a risposta discreta, campionare cinque percorsi a T=0,7 e misurare l'entropia di matching esatto in Python offre un controllo a costo GPU nullo. Libera VRAM per l'inference e riduce la complessità operativa, aspetto critico nei deployment self-hosted dove il monitoraggio non deve competere con il carico principale. Il crollo a 0,09 sui modelli frontiera indica però che una strategia basata solo su stringhe è cieca proprio nel caso più pericoloso. Un approccio deterministico a basso costo può generare un falso senso di sicurezza su task aperti o dati non verificati.

La lezione strutturale è che il rilevamento delle allucinazioni non può essere un singolo layer uniforme. Va parametrizzato sulla classe di modello e sul tipo di task: string matching efficace per modelli da 7B a 27B su attività strutturate, insufficiente per modelli di fascia alta su conoscenza non ancorata. Chi vince sono i team che adottano un controllo leggero e differenziato, riducendo il TCO senza sacrificare la latenza. Chi perde sono le organizzazioni che cercano una metrica universale a costo zero per tutti i modelli. Per chi valuta deployment on-premise, esistono trade-off tra risparmio di VRAM e copertura dei casi di collasso modale: AI-RADAR propone framework analitici su /llm-onpremise per valutare questi vincoli.