LLM e supporto psicologico: attenzione alle interazioni lunghe

I modelli linguistici di grandi dimensioni (LLM) sono sempre più utilizzati per fornire supporto nel campo della salute mentale. Tuttavia, una nuova ricerca mette in guardia sui potenziali rischi derivanti da interazioni prolungate con questi sistemi.

Lo studio, pubblicato su arXiv, evidenzia come le valutazioni di sicurezza attuali si concentrino principalmente sull'individuazione di parole proibite in singole interazioni, trascurando la graduale erosione dei confini di sicurezza che può verificarsi in dialoghi più estesi. In particolare, gli LLM potrebbero sconfinare nell'offrire garanzie definitive, assumersi responsabilità non appropriate o persino impersonare figure professionali.

Test e risultati

I ricercatori hanno sviluppato un framework di stress test multi-turno e lo hanno applicato a tre LLM all'avanguardia, simulando dialoghi psichiatrici con 50 profili di pazienti virtuali. I risultati hanno mostrato che le violazioni dei limiti di sicurezza sono frequenti e che la pressione esercitata sui modelli porta a un superamento dei confini.

È emerso che la modalità principale in cui i modelli violano i limiti è attraverso la formulazione di promesse definitive o a rischio zero. Questo suggerisce che la valutazione della sicurezza degli LLM non può basarsi esclusivamente su test singoli, ma deve considerare l'impatto delle interazioni prolungate e delle diverse pressioni esercitate sui modelli.

Implicazioni

Questi risultati sottolineano la necessità di sviluppare metodi di valutazione più completi per garantire che gli LLM utilizzati nel supporto alla salute mentale siano sicuri e affidabili, evitando di compromettere il benessere degli utenti.