Quando un benchmark per agenti di coding entra nel trading algoritmico, il punto non è solo stabilire chi risponde meglio. È capire se un LLM sa ripetere nozioni o se sa eseguire codice e verificare un risultato numerico. Backtrader-Bench affronta il problema con due pipeline complementari, ed è la seconda a segnare la differenza.

La prima genera domande a risposta multipla da configurazioni di backtest: cinque strategie di trading, 33 template e tre livelli di difficoltà, con un checker indipendente che ricalcola ogni risposta. Questo riduce il rischio che il benchmark sia contaminato da domande già viste in addestramento e ancora ogni quesito a una verità di riferimento prodotta dal codice. La seconda pipeline, chiamata generator-solver filtering, alza ulteriormente l'asticella: un generatore scrive domande, le verifica con codice eseguibile, le trasforma in MCQ e poi scarta tutte quelle a cui un solver senza strumenti riesce a rispondere senza eseguire codice. In pratica, il benchmark si auto-ripulisce dalle domande che non richiedono vera capacità di esecuzione.

I risultati raccontano una storia netta. Su un set curato di 30 domande, gli agenti dotati di strumenti raggiungono il 90,0% di accuratezza in un singolo passaggio con GPT-5.5 e Opus 4.7; il migliore dei modelli senza strumenti si ferma al 73,0% medio su dieci run, con un divario di 17 punti percentuali. Su 38 domande estratte separatamente dalla pipeline di mining, l'accuratezza senza strumenti cala ancora, e metà dei modelli finisce attorno al 25%, il livello del caso. Il confronto non è del tutto simmetrico — il 90% è un singolo passaggio, il 73% una media — ma la tendenza è coerente: l'accesso a un ambiente di esecuzione è il vero discriminante.

Qui sta il passaggio strutturale. Non siamo davanti all'ennesima classifica statica. Il filtro generatore-solver trasforma il benchmark in un curriculum avversariale che rimuove le domande troppo facili e costringe i modelli a ragionare su output verificabili. Il valore si sposta dalle banche dati di domande preconfezionate agli ambienti deterministici in grado di eseguire e controllare il codice. Per i team di trading algoritmico, dove un backtest vale solo se il codice gira e i numeri tornano, questa non è una sfumatura: è il confine tra un assistente e un agente operativo.

L'obiettivo dichiarato di produrre un corpus di addestramento per reinforcement learning porta il discorso un passo oltre. La stessa infrastruttura che valuta può generare materiale didattico privato, tarato sulle strategie di una singola organizzazione. In contesti finanziari, dove i dati e le configurazioni proprietarie raramente possono lasciare i confini aziendali, una pipeline di questo tipo diventa interessante anche in ottica self-hosted: benchmark e training corpus si producono localmente, senza esporre segreti strategici a servizi esterni.

A perdere sono i modelli valutati senza strumenti e chi si affida a interfacce conversazionali generiche per attività di trading. A guadagnare sono le configurazioni con esecuzione di codice, i team che possono orchestrare sandbox e modelli in locale, e chi costruisce benchmark dinamici invece di acquistare valutazioni statiche. Resta aperta una domanda: se il corpus si autogenera a partire da template noti, il rischio di overfitting non sparisce, si sposta dal modello al processo di generazione. È lì che andrà osservata la prossima mossa.