Bias nei sistemi di triage basati su LLM

Un recente studio ha rivelato la presenza di bias latenti nei modelli linguistici di grandi dimensioni (LLM) utilizzati per il triage nei dipartimenti di emergenza. La ricerca, pubblicata su arXiv, si concentra sull'analisi di come questi sistemi di intelligenza artificiale possano discriminare i pazienti in base a fattori razziali, sociali ed economici.

Analisi tramite variabili proxy

I ricercatori hanno utilizzato 32 variabili proxy a livello di paziente, rappresentate da qualificatori positivi e negativi, per valutare gli effetti dei bias. Sono stati impiegati sia dataset pubblici (MIMIC-IV-ED Demo, MIMIC-IV Demo) che dataset ad accesso limitato (MIMIC-IV-ED e MIMIC-IV). I risultati hanno mostrato un comportamento discriminatorio mediato dalle variabili proxy negli scenari di triage.

Tendenza a modificare la gravità percepita

Lo studio ha inoltre evidenziato una tendenza sistematica degli LLM a modificare la gravità percepita del paziente quando specifici token appaiono nel contesto di input, indipendentemente dal fatto che siano presentati in modo positivo o negativo. Questo suggerisce che i sistemi di intelligenza artificiale sono ancora addestrati su segnali rumorosi e non causali, che non riflettono accuratamente le reali condizioni del paziente.

Necessità di un'implementazione responsabile

Le consegne dello studio sottolineano l'importanza di garantire un'implementazione sicura e responsabile delle tecnicie di intelligenza artificiale in contesti clinici. È necessario lavorare per migliorare l'accuratezza e l'equità di questi sistemi, evitando che perpetuino discriminazioni esistenti.