Il problema non è che un rilevatore di allucinazioni perda qualche punto percentuale. È che la classifica si inverte. Su due modelli open da 3 miliardi di parametri, Llama-3.2-3B-Instruct e Qwen2.5-3B-Instruct, caricati in quantization NF4 a 4 bit su una singola GPU T4 di Colab, il ranking dei rilevatori mostra uno Spearman rho di -0,80 e un Kendall tau-b di -0,667: il metodo che sembra il migliore su un modello può diventare il peggiore sull'altro. Se l'obiettivo è distribuire un rilevatore su un LLM on-device, il benchmark basato sui modelli da ricerca da 7B-70B non offre alcuna bussola.

L'audit riproducibile confronta quattro rilevatori su tre paradigmi: una calibrazione basata sul margine dei token normalizzato per lunghezza, una baseline lessicale a n-grammi e due metodi di coerenza campionaria, semantic entropy e SelfCheckGPT-NLI. Il test usa TriviaQA in modalità closed-book. I piccoli modelli che finiscono davvero sui dispositivi, Phi-3-mini, Llama-3.2-3B-Instruct, Qwen2.5-3B-Instruct e Gemma-2-2B-Instruct, quasi sempre a 4 bit, restano fuori dalla base di evidenza. Il risultato più scomodo non è la bassa correlazione: è che la baseline lessicale, economica e semplice, è statisticamente indistinguibile dai metodi di coerenza campionaria su entrambi i modelli, con intervalli di confidenza bootstrap al 95%. Su una GPU T4, i metodi campionari devono generare più completamenti per lo stesso input; se non producono un vantaggio misurabile, quel costo computazionale aggiuntivo non ha giustificazione. Per l'inference locale su hardware limitato, è un segnale diretto: la complessità del rilevatore non si traduce automaticamente in affidabilità.

Il cortocircuito dell'etichettatura

C'è un secondo cortocircuito, metodologico. Il labeler standard per TruthfulQA-Generation, che trasforma la generazione in una scelta multipla attraverso la sovrapposizione di token, produce AUROC vicini al caso: 0,46-0,59 per tutti e quattro i rilevatori su entrambi i modelli. Sembra un collasso dei rilevatori, ma non lo è. Gli stessi rilevatori, con la stessa pipeline, arrivano a 0,69-0,89 AUROC su TriviaQA. A fallire è l'etichettatura, non il rivelatore. È una distinzione che ha conseguenze concrete: un team potrebbe scartare un buon rilevatore perché un benchmark mal costruito produce numeri da caso. La valutazione diventa un problema di validità della strumentazione prima ancora che di qualità del modello.

Il gruppo rilascia harness, prompt e punteggi per-item e inquadra la scelta del rilevatore come un problema di allocazione dei tassi d'errore: su dispositivi con risorse scarse, non tutti gli errori hanno lo stesso costo. Un rilevatore che riduce l'errore medio può spostare gli sbagli verso categorie più dannose. Con il ranking che si inverte tra modelli, ogni scelta va rifatta sul modello reale e sul carico specifico. Per chi valuta deployment self-hosted o edge, AI-RADAR offre framework analitici su /llm-onpremise per orientarsi tra questi trade-off, ma il messaggio strutturale resta che i benchmark generalisti non bastano: servono valutazioni locali, riproducibili e aperte. La fonte non promette una soluzione universale, ma rende il problema controllabile, ed è forse l'unico risultato che conta davvero quando si porta un rilevatore di allucinazioni dentro un dispositivo che non può permettersi di sbagliare.