Quando un algoritmo vi promette «sono affidabile al 90 %», è facile credergli. Ma in ambiti come la drug discovery, quella cifra può essere una trappola. Un nuovo studio mostra che la conformal prediction marginale — una tecnica di quantificazione dell’incertezza sempre più adottata per mettere un numero onesto sull’affidabilità dei modelli — rispetta la copertura globale ma abbandona quasi completamente le classi rare, proprio quelle che spesso contano di più.

I ricercatori hanno testato il metodo su quattro dataset. Fissata una copertura obiettivo del 90 %, la conformal prediction marginale la raggiunge a livello aggregato. Ma quando si guardano le classi minoritarie, i numeri crollano: sulla penetrazione della barriera emato-encefalica la copertura scende al 64,8 %, mentre sulla tossicità nei trial clinici precipita al 4,2 % — un valore che rende il modello sostanzialmente cieco verso i composti pericolosi. E non è un difetto legato a un singolo modello: il fallimento si riproduce con un random forest, una rete neurale su grafi e un modello linguistico chimico congelato (un LLM specializzato).

Il meccanismo è noto agli statistici ma poco discusso nella pratica di deployment. La conformal prediction marginale garantisce una probabilità media di successo su tutte le predizioni, senza distinguere tra classi. Su dataset sbilanciati, dove una classe (es. tossicità) compare in meno del 5 % dei campioni, il sistema può sacrificare la classe rara per mantenere la precisione su quella maggioritaria, pur vantando una copertura globale eccellente.

La soluzione proposta è una variante «class-conditional»: invece di un unico valore alfa per tutte le predizioni, si impongono vincoli di copertura separati per ciascuna classe. In questo modo la minoranza recupera la protezione statistica che le spetta. Dal punto di vista dell’implementazione, però, il correttivo non è gratuito: richiede una calibrazione più granulare e, in contesti di virtual screening massivo, può tradursi in un maggior numero di calcoli di conformità per composto.

Qui entra in gioco la dimensione infrastrutturale. Molte aziende farmaceutiche eseguono questi modelli su cluster on-premise per proteggere la proprietà intellettuale e rispettare normative come il GDPR. Aggiungere la condizionalità per classe significa aumentare il carico di inference e, su larga scala, influisce sul TCO (Total Cost of Ownership) dell’infrastruttura. Chi valuta il deployment on-premise deve ora soppesare: il risparmio computazionale della conformal prediction marginale vale il rischio di mancare quasi 19 composti tossici su 20?

La vicenda segnala qualcosa di più strutturale. Sempre più spesso si adottano framework statistici “chiavi in mano” fidandosi delle garanzie globali, senza verificarle sui sottogruppi critici. In un settore dove un falso negativo tossicologico può avere conseguenze devastanti, la lezione è che l’onestà statistica va calibrata sulle priorità del dominio. Forse la vera “honest number” non è quella che funziona in media, ma quella che non mente mai sulla classe che non possiamo permetterci di ignorare.