FIRE: Un Nuovo Benchmark per la Finanza

È stato presentato FIRE, un benchmark completo progettato per valutare le capacità degli LLM (Large Language Models) nel settore finanziario. Questo strumento mira a misurare sia la conoscenza teorica della finanza che la capacità di gestire scenari aziendali reali.

Componenti del Benchmark

FIRE include una serie di domande estratte da esami di certificazione finanziaria riconosciuti, pensate per valutare la comprensione e l'applicazione della conoscenza finanziaria da parte degli LLM. Inoltre, il benchmark propone una matrice di valutazione sistematica che categorizza domini finanziari complessi, assicurando la copertura di sottodomini e attività aziendali essenziali. Sono state raccolte 3.000 domande basate su scenari finanziari, comprendenti sia quesiti a risposta chiusa che domande aperte valutate tramite criteri predefiniti.

Valutazione e Risultati

Sono state condotte valutazioni complete degli LLM più avanzati utilizzando il benchmark FIRE, incluso XuanYuan 4.0, un modello specifico per il dominio finanziario. I risultati ottenuti permettono un'analisi sistematica dei limiti delle attuali capacità degli LLM nelle applicazioni finanziarie. Il benchmark e il codice di valutazione sono stati rilasciati pubblicamente per supportare la ricerca futura nel campo.