Introduzione

La simulazione utente è fondamentale per allenare e valutare i sistemi di dialogo orientati alle tante (TOD), ma creare simulatori che riprodano con precisione il comportamento umano rimane un grande sfida. Un aspetto chiave dei buoni simulatori è la loro capacità di esporre le mode di fallimento dei sistemi da valutare.

In questo contesto, si presenta un framework di allenamento ad adversari che migliora gradualmente la realismo della simulazione utente attraverso una dinamica competitiva tra un generatore (simulatore utente) e un discriminator. Applicato ai chatbot di supporto alla salute mentale, il nostro approccio dimostra che i simulatori personalizzati migliorano dramaticamente le prestazioni dei modelli base zero all'uscire sistemi d'errore, e l'allenamento ad adversari migliora ulteriormente la diversità, l'allineamento distribuzionale e la validità preattiva.

Il simulatore finale raggiunge una forte correlazione tra le tassi di fallimento simulato e reale attraverso diverse configurazioni dei chatbot mentre mantiene bassa divergenza distribuzionale delle mode di fallimento. La precisione del discriminator diminuisce drasticamente dopo tre iterazioni ad adversari, suggerendo una maggiore realismo.

I risultati forniscono evidenze che l'allenamento ad adversari è un approccio promettente per creare simulatori utenti realistiche in domini di supporto alla salute mentale TOD, consentendo rapidi, affidabili e economici valutazioni dei sistemi prima della loro uscita.