TraderBench: Valutazione realistica degli agenti AI nei mercati finanziari

La valutazione degli agenti di intelligenza artificiale nel settore finanziario presenta sfide significative. I benchmark statici richiedono una costosa annotazione da parte di esperti, ma non riescono a catturare il processo decisionale dinamico essenziale nel trading reale. L'utilizzo di valutatori basati su LLM introduce una varianza incontrollata in task specifici del dominio.

TraderBench affronta questi problemi combinando task statici verificati da esperti (recupero di conoscenza, ragionamento analitico) con simulazioni di trading avversarie. Le performance sono valutate in base a metriche reali come lo Sharpe ratio, i rendimenti e il drawdown, eliminando completamente la varianza introdotta dai valutatori.

Caratteristiche principali

Il framework include due nuove tracce:

  • Trading di criptovalute con quattro trasformazioni progressive di manipolazione del mercato.
  • Derivati su opzioni, valutati in base all'accuratezza di P&L, alle Greche e alla gestione del rischio.

Gli scenari di trading possono essere aggiornati con nuovi dati di mercato per prevenire la contaminazione del benchmark. La valutazione di 13 modelli (da 8B open-source a modelli di frontiera) su circa 50 task ha rivelato che 8 modelli su 13 ottengono un punteggio di circa 33 nel trading di criptovalute, con una variazione inferiore a 1 punto tra le condizioni avversarie, il che espone strategie fisse non adattive. Un "pensiero" più esteso migliora il recupero di informazioni (+26 punti), ma non ha alcun impatto sul trading (+0.3 cripto, -0.1 opzioni).

Questi risultati evidenziano che gli agenti attuali mancano di una reale capacità di adattamento al mercato, sottolineando la necessità di una valutazione basata sulla performance nel settore finanziario.

Per chi valuta deployment on-premise, esistono trade-off da considerare. AI-RADAR offre framework analitici su /llm-onpremise per valutare questi aspetti.