I modelli linguistici di grandi dimensioni (LLM) trovano sempre più impiego nel supporto alla salute mentale, ma le metodologie di valutazione attuali spesso non colgono le sfumature cliniche essenziali della psicoterapia.

TherapyGym: un nuovo framework

TherapyGym è un framework progettato per valutare e migliorare i chatbot terapeutici, concentrandosi su due aspetti fondamentali: la fedeltà e la sicurezza clinica. La fedeltà viene misurata tramite la Cognitive Therapy Rating Scale (CTRS), implementata come una pipeline automatizzata che valuta l'aderenza alle tecniche di terapia cognitivo-comportamentale (CBT) nel corso di sessioni interattive. La sicurezza è valutata tramite un sistema di annotazione multi-label, che copre i rischi specifici della terapia, come la mancata gestione di situazioni di pericolo o abuso.

Mitigazione dei bias e addestramento

Per ridurre i bias e l'inaffidabilità nei giudizi basati su LLM, è stato rilasciato TherapyJudgeBench, un set di validazione di dialoghi con valutazioni di esperti. TherapyGym funge anche da ambiente di addestramento, utilizzando ricompense basate su CTRS e sicurezza per guidare il reinforcement learning con simulazioni di pazienti configurabili. I modelli addestrati in TherapyGym mostrano un miglioramento nei punteggi di fedeltà clinica, sia sotto la valutazione di esperti che di LLM.