Nei servizi di assistenza psicologica, un errore non si misura in un benchmark più basso: si misura in un’escalation non riconosciuta o in una domanda fuori luogo al momento sbagliato. CrisisBench parte da qui, con una suite di valutazione per la consulenza in crisi che non usa trascrizioni reali.
La suite comprende 1.085 task single-turn estratti da 200 conversazioni de-identificate e 1.185 modelli paziente generati dai metadati di una helpline. Al posto dei dati grezzi, gli autori hanno costruito pazienti sintetici e un giudice LLM da 23 item, calibrandoli sui counselor esperti. È una scelta di governance prima ancora che tecnica: nei contesti clinici, il dato reale è troppo sensibile per essere spostato liberamente.
I risultati mostrano che cinque modelli GPT, anche con tecniche draft-then-edit e retrieval-augmented generation, restano indietro rispetto ai counselor umani su empatia eccessiva e qualità delle domande nella valutazione single-turn. L’accordo del giudice con gli umani raggiunge un alpha di Krippendorff di 0,54 e una correlazione di Pearson di 0,80. Nel multi-turno, la retrieval-augmented generation ottiene il punteggio più alto con 0,961, ma tutti i sistemi restano entro 0,058.
Il punto più interessante non è il valore assoluto, ma dove si concentrano le differenze. Microskills e stile/tono sono quasi al soffitto; produttività e safety/risk spiegano la maggior parte della variazione tra sistemi. Questo indica che i modelli hanno assimilato la forma del colloquio psicologico più che la capacità di gestire il rischio. I benchmark generici premiano fluency e adeguatezza stilistica, esattamente le competenze in cui i LLM sono già forti, mentre i fallimenti su escalation e valutazione del rischio restano più rari e più difficili da campionare.
Anche la validazione dei pazienti sintetici merita attenzione: i counselor li hanno giudicati realistici nell’86% dei casi e utili nel 92%. Il realismo percepito è alto, ma il benchmark misura l’allineamento a un paziente simulato, non a un paziente reale. Il rischio è una distribuzione sintetica troppo liscia, che non cattura i casi anomali dove la consulenza fallisce davvero.
Per chi opera in ambito sanitario, questo sposta l’attenzione dal solo throughput ai vincoli di data residency e controllo. Una piattaforma di valutazione come CrisisBench si integra più facilmente in un ambiente self-hosted o ibrido, dove modelli e giudici girano su hardware locale, che in un flusso cloud in cui ogni chiamata API può uscire dal perimetro. La safety in produzione richiede la stessa sovranità dei dati clinici che ha guidato la costruzione del dataset. AI-RADAR offre framework analitici su /llm-onpremise per ragionare su questi trade-off.
Il confine tra microskill e sicurezza resta il punto in cui i modelli si smarriscono. CrisisBench rende la valutazione replicabile e rispettosa della privacy, ma i numeri ricordano che la forma di un colloquio non è ancora la sostanza di una consulenza in crisi.
💬 Commenti (0)
🔒 Accedi o registrati per commentare gli articoli.
Nessun commento ancora. Sii il primo a commentare!