In teoria, l’intelligenza artificiale in medicina dovrebbe alleggerire il carico dei professionisti, non eliminarli. Due storie emerse questa settimana negli Stati Uniti ribaltano questa visione. A New York, un gruppo di infermieri sostiene di essere stato sostituito da un software di supporto decisionale. In Minnesota, un ex alto dirigente della Mayo Clinic – una delle istituzioni sanitarie più rispettate al mondo – dichiara pubblicamente che l’IA introdotta nella struttura non era sicura e non meritava fiducia.

Il caso di New York non è isolato. Marilyn Shuler, un’infermiera con trentanove anni di carriera, ha raccontato come la sua esperienza nella lettura degli esami sia stata resa superflua da un algoritmo che ora esegue le stesse valutazioni senza supervisione umana diretta. Non si tratta di un aiuto, ma di una vera e propria sostituzione funzionale. In Minnesota, l’ex leader della Mayo Clinic – il cui nome non è ancora stato reso noto in via ufficiale – ha espresso allarme sulla mancanza di test indipendenti e sull’assenza di una validazione clinica rigorosa prima dell’implementazione.

Questi episodi segnalano uno scollamento pericoloso tra la retorica dei venditori e la pratica ospedaliera. Chi ci guadagna, nell’immediato? I fornitori di tecnicia, spinti dalla pressione a piazzare sistemi pronti all’uso, e le amministrazioni sanitarie che vedono nell’automazione un modo per tagliare i costi del personale. A rimetterci, invece, sono la sicurezza dei pazienti e la professionalità degli operatori, ridotti a sorveglianti passivi o del tutto rimossi dal processo decisionale.

Il problema di fondo non è l’IA in sé, ma la velocità con cui viene immessa in contesti ad alto rischio senza adeguati controlli. Nel settore dei dispositivi medici esistono procedure di certificazione stringenti; per il software di intelligenza artificiale, invece, le maglie sono più larghe. Molti algoritmi vengono implementati come strumenti di supporto che, di fatto, operano in autonomia, aggirando così le verifiche regolatorie previste per i dispositivi medici veri e propri. Il risultato è un cortocircuito normativo: l’ospedale può dire di aver introdotto un “suggeritore”, ma nei reparti quel sistema decide di fatto chi dimettere, quale terapia prescrivere o quando allertare un medico.

A livello strutturale, ciò pone una questione di sovranità dei dati e di audit. Chi controlla il funzionamento dell’algoritmo dopo l’installazione? Spesso nessuno. Le black box dell’IA rendono difficile ricostruire le decisioni, e in assenza di log trasparenti o di un’infrastruttura di monitoraggio continuo, gli errori possono passare inosservati per mesi. Questo scenario è particolarmente critico quando il software gira su cloud esterni, fuori dal perimetro di sicurezza dell’ospedale, aumentando i rischi di opacità e di violazioni della privacy.

Per chi valuta deployment on-premise, il caso solleva un interrogativo centrale: se l’IA fosse eseguita su server locali, con registri di audit completi e un modello di governance chiaro, sarebbe più facile individuare i malfunzionamenti e attribuire responsabilità. Non è una soluzione automatica, ma sposta l’equilibrio verso un controllo effettivo dell’istituzione sanitaria. AI-RADAR segue da tempo l’evoluzione dei framework per l’inference locale in ambito regolato, dove la certificazione del software e la trasparenza delle pipeline diventano fattori discriminanti.

Le due storie americane non sono incidenti isolati: sono la punta di un iceberg. L’accelerazione dell’adozione dell’IA in sanità, sospinta da investimenti miliardari e dalla promessa di efficienza, sta superando la capacità dei regolatori di stare al passo. Se non si impone un cambio di marcia nella validazione indipendente, il prossimo caso di malasanità algoritmica potrebbe trasformarsi in una crisi di fiducia per l’intero settore.