MedPI: Valutare l'IA nelle interazioni mediche

È stato presentato MedPI, un nuovo benchmark progettato per valutare le capacità dei modelli linguistici di grandi dimensioni (LLM) nelle conversazioni tra pazienti e clinici. Questo strumento si distingue dai tradizionali benchmark di domanda e risposta (QA) valutando il dialogo medico in modo più completo.

MedPI analizza le interazioni attraverso 105 dimensioni diverse, che comprendono l'intero processo medico, la sicurezza dei trattamenti, i risultati ottenuti e la qualità della comunicazione tra medico e paziente. Il framework di valutazione è allineato con le competenze dell'Accreditation Council for Graduate Medical Education (ACGME).

Architettura e componenti di MedPI

MedPI è strutturato in cinque livelli principali:

  1. Patient Packets: Dati sintetici simili a cartelle cliniche elettroniche (EHR) che rappresentano la verità di riferimento.
  2. AI Patient: Un paziente virtuale creato tramite un LLM, dotato di memoria e capacità di simulare emozioni.
  3. Task Matrix: Una matrice di attività che combina diverse ragioni di consultazione (ansia, gravidanza, controllo del benessere) con obiettivi specifici (diagnosi, consigli sullo stile di vita, raccomandazioni sui farmaci).
  4. Evaluation Framework: Il sistema di valutazione con le 105 dimensioni, misurate su una scala da 1 a 4 e mappate sulle competenze ACGME.
  5. AI Judges: LLM calibrati che agiscono come giudici, fornendo punteggi, segnalazioni e motivazioni basate su evidenze.

Risultati iniziali e implicazioni

Sono stati valutati nove modelli di punta, tra cui Claude Opus 4.1, Claude Sonnet 4, MedGemma, Gemini 2.5 Pro, Llama 3.3 70b Instruct, GPT-5, GPT OSS 120b, o3 e Grok-4, utilizzando 366 pazienti virtuali e oltre 7.000 conversazioni. I risultati hanno evidenziato prestazioni generalmente basse in diverse aree, in particolare nella formulazione di diagnosi differenziali. Questo lavoro può contribuire a indirizzare l'uso futuro degli LLM per la diagnosi e le raccomandazioni terapeutiche, evidenziando le aree che necessitano di ulteriori miglioramenti.