Valutazione Avanzata dei Modelli di Ricompensa

I modelli di ricompensa (RM) sono fondamentali per l'allineamento dei grandi modelli linguistici (LLM), ma la loro efficacia dipende dalla generalizzazione a prompt imprevisti e distribuzioni variabili. La maggior parte delle valutazioni RM esistenti si basa su dataset di preferenze statici e pre-annotati, che offrono una copertura limitata e spesso non valutano accuratamente la generalizzazione in ambienti aperti.

Pairwise Maximum Discrepancy Competition (PMDC)

È stato introdotto Pairwise Maximum Discrepancy Competition (PMDC), un framework dinamico e ad alta efficienza di annotazione per valutare la generalizzazione RM utilizzando un ampio pool di prompt open-domain non etichettati. PMDC seleziona attivamente coppie prompt-risposta che massimizzano il disaccordo tra due RM, producendo un insieme compatto di test case altamente controversi. Questi casi vengono giudicati da un oracolo e i risultati vengono aggregati tramite un modello Bradley-Terry per produrre una classifica globale e un panorama del tasso di vittoria a coppie degli RM.

Risultati e Analisi

L'applicazione di PMDC a 10 RM rappresentativi ha rivelato un sostanziale rimescolamento della classifica rispetto ai benchmark convenzionali. Analisi qualitative hanno ulteriormente scoperto fallimenti sistematici di generalizzazione, fornendo preziose informazioni per migliorare la modellazione della ricompensa. Per chi valuta deployment on-premise, esistono trade-off da considerare nell'implementazione di modelli di ricompensa e framework di valutazione come PMDC. AI-RADAR offre framework analitici su /llm-onpremise per valutare questi trade-off.