In medicina, un modello che sbaglia con sicurezza può fare più danni di uno che sbaglia ammettendo il dubbio. Un benchmark controllato, ispirato alla psicofisica, ha provato a misurare proprio questo comportamento su gpt-4.1-nano: non solo quante diagnosi sono corrette, ma quanto la confidenza dichiarata segue la qualità delle prove.

Il test ha usato 45 vignette sintetiche che simulano casi probabili di disturbo neurocognitivo tipo Alzheimer (AT-NCD) oppure deterioramento cognitivo legato alla depressione (DRCI). Ogni vignetta è stata presentata con tre varianti di prompt, per un totale di 135 prove. L'accuratezza diagnostica è stata del 93,5%, la confidenza media del 78,4% e l'AUROC2 di 0,876. Fin qui i numeri sembrano solidi, ma la parte interessante è un'altra.

La confidenza del modello aumenta quando le prove si allontanano dal confine diagnostico e diminuisce quando mancano informazioni. Dopo aver corretto per forza delle prove e formato del prompt, resta più alta nei casi corretti che in quelli sbagliati. Questo indica una sensibilità metacognitiva parziale: non è un indicatore globalmente inutile. Ma gli errori si concentrano nei casi AT-NCD moderati e conflittuali, dove il modello scivola verso DRCI e mantiene più fiducia di quanto l'accuratezza empirica giustifichi.

Il punto non è che un modello sbaglia in casi difficili: è che lo fa con eccesso di sicurezza proprio lì. Per chi valuta un LLM in ambito clinico, questo cambia il tipo di test necessario. L'accuratezza media su un benchmark nasconde guasti localizzati di calibrazione, e questi guasti possono emergere solo con prove costruite per forzare il confine tra categorie. Lo studio suggerisce anche di misurare direttamente la qualità della confidenza, invece di dedurla dall'accuratezza del benchmark o dalla capacità generale del modello.

In un contesto on-premise, questa impostazione ha un valore operativo immediato. Le organizzazioni sanitarie che eseguono modelli self-hosted possono replicare test di calibrazione su dati interni, senza inviare cartelle cliniche a servizi esterni e con la possibilità di bloccare la versione del modello durante le prove. Non è un dettaglio tecnico: la calibrazione può variare tra versioni, dopo fine-tuning o con prompt diversi, quindi un test una tantum non basta. Serve un monitoraggio continuo, integrato nella pipeline di validazione, con metriche che separino accuratezza e qualità della confidenza per sottogruppi di casi.

Chi guadagna da questa lettura? I team che costruiscono stack di validazione locali, perché possono trasformare un benchmark del genere in un test di regressione per ogni aggiornamento del modello. Chi rischia? I fornitori che propongono accuratezza come prova sufficiente per uso clinico, e gli ospedali che adottano modelli senza verificare la calibrazione sul proprio mix di casi. A livello strutturale, il segnale è chiaro: nei settori ad alto rischio, la valutazione si sta spostando dalla capacità astratta al comportamento del modello durante l'inference su dati verosimili.

Per chi valuta deployment on-premise, AI-RADAR offre framework analitici su /llm-onpremise per pesare questi trade-off, ma la calibrazione resta un esercizio specifico per ogni caso d'uso. Il prossimo passo non è chiedersi se un LLM medico è abbastanza accurato, ma se sa quando smettere di esserlo.