La sanità digitale si affida sempre più a Large Language Models per compiti che vanno dalla refertazione all'analisi di immagini diagnostiche. Per tenere traccia di questi contributi generati automaticamente, si usano watermark — tecniche che inseriscono marchi impercettibili nel testo o nelle uscite multimodali. Ma cosa succede quando quei marchi alterano il senso clinico? Un nuovo studio condotto su 11 LLM e 7 VLM (Vision-Language Models) con 5 schemi di watermarking dimostra che il degrado è concreto, e che la cassetta degli attrezzi di valutazione abituale non lo vede.

I ricercatori hanno costruito una pipeline di audit validata da esperti umani per esaminare la qualità del ragionamento medico, la precisione terminologica e le allucinazioni indotte. I risultati sono allarmanti: i watermark introducono corruzione lessicale, inventano termini medici inesistenti, e amplificano l'errata attribuzione o l'omissione di reperti nelle immagini. Il punto centrale non è solo che le performance calano, ma che i parametri aggregati — quelli che di solito si usano per confrontare i modelli — occultano sistematicamente questi guasti. Un modello può sembrare accettabile su un benchmark generalista mentre, in uno scenario clinico, produce errori potenzialmente letali.

Questo studio mette il dito su una tensione che chi sviluppa infrastrutture AI on-premise conosce bene: la necessità di tracciabilità e conformità normativa si scontra con l'esigenza di accuratezza assoluta. In ambito sanitario, ospedali e cliniche che gestiscono modelli in locale — per non cedere dati sensibili a cloud esterni — devono poter garantire che ogni referto automatico sia identificabile come generato da un LLM. Ma se l'atto stesso di marcare l'output ne degrada la qualità al punto da produrre falsi negativi o diagnosi errate, il trade-off diventa insostenibile.

L'assenza di analisi dominio-specifiche nei benchmark attuali è una falla strutturale che ricorda problemi già visti con i modelli di linguaggio applicati a settori regolamentati: si valida su test generici, si distribuisce in contesti critici, e i fallimenti emergono solo quando i danni sono fatti. Per chi progetta pipeline di inference on-premise, questo significa che la selezione di un watermark non può essere fatta a valle, come un innocuo plug-in. Va integrata nella fase di fine-tuning e validazione del modello, con metriche cliniche reali.

La sovranità dei dati aggiunge un ulteriore strato di complessità. In un ambiente self-hosted, l'operatore ha il controllo completo del modello e può decidere se e come applicare watermark, ma può anche essere tentato di disabilitarli per preservare la qualità diagnostica. Questo crea un potenziale vulnus legale: senza watermark, come dimostrare in sede di audit che un referto è stato generato da un LLM? L'alternativa — tenere watermark attivi e accettare un tasso più alto di allucinazioni cliniche — è eticamente problematica e tecnicamente arretrata.

Lo studio suggerisce che la valutazione dominio-specifica non è un optional, ma un prerequisito per il deployment sicuro di modelli watermarkati in medicina. Implica anche che le aziende che spingono soluzioni di tracciabilità devono ripensare il design dei watermark, magari rendendoli meno invasivi a livello semantico, o sviluppando test clinici che diventino standard di riferimento. Per chi oggi decide architetture di deployment in sanità, il messaggio è netto: senza benchmark medici dedicati, qualsiasi certificazione di qualità basata su metriche aggregate è carta straccia. E ogni giorno di ritardo nella creazione di standard clinici per i watermark è un giorno in cui un modello potrebbe diagnosticare male "per colpa del marchio".