La domanda non è se un LLM sa ragionare, ma se in quel preciso momento il ragionamento è la risorsa giusta. È il problema affrontato da un gruppo di ricercatori che ha sottoposto agenti di previsione a stress test comportamentali su task binari in stile ForecastBench, osservando la scelta tra retrieval, ragionamento, prior di mercato e analoghi storici come un comportamento visibile dell'agente, non come un dettaglio nascosto dell'implementazione.

Il risultato centrale è che la scelta del meccanismo dipende dalla fonte. Per alcuni processi di generazione dei dati gli analoghi strutturati dominano, mentre per altri funzionano meglio i prior di mercato o le baseline conservative. Non c'è un comportamento universalmente superiore.

Il team introduce ReliabilityRoute, un intervento strutturale che indirizza il comportamento usando caratteristiche di affidabilità: copertura storica, disponibilità del prior di mercato, nitidezza del prior della fonte, forza dell'evidenza, disaccordo tra evidenze e orizzonte temporale. Una regola fissa calibrata sul 2024 replica da vicino una tassonomia costruita a mano, senza decisioni hard-coded sui nomi delle fonti. Una regola walk-forward che ricalibra le soglie sui vintage già risolti ottiene il miglior punteggio Brier medio tra i sistemi deterministici considerati, su 16 vintage LLM successivi.

Il dato più significativo è che il guadagno è modesto e le baseline storiche e di ricerca restano competitive. Lo studio non rivendica un nuovo record, ma uno stress test comportamentale: più ragionamento non è sempre migliore. Per chi progetta pipeline di inference questo cambia i termini. Aggiungere passaggi di ragionamento o retrieval aumenta complessità e costo computazionale, ma non produce valore se la fonte sbagliata controlla il processo. In un deployment self-hosted, dove VRAM e TCO sono vincoli concreti, instradare verso una baseline economica o un analogo storico senza passare dal ragionamento completo è una forma di controllo, non una riduzione delle ambizioni.

C'è una lettura di secondo ordine: il routing diventa una politica di governo delle evidenze, non un dettaglio operativo. Le regole walk-forward che ricalibrano le soglie su vintage già risolti sono ispezionabili e adattabili sotto vincoli verificabili. Per chi gestisce stack locali, questo ha valore: si può spiegare perché un agente ha scelto un meccanismo e correggere la politica senza riaddestrare modelli opachi. La sovranità dei dati non si gioca solo sul dove girano i modelli, ma anche sulla possibilità di auditare le decisioni che li compongono.

Anche per il mercato c'è una conseguenza. Chi vende pipeline monolitiche che tengono sempre attivo il ragionamento potrebbe dover giustificare un costo incrementale che in alcuni contesti non aggiunge accuratezza. Chi invece progetta sistemi modulari con fonti multiple e regole di controllo può riservare l'inference più pesante ai casi in cui l'evidenza la richiede davvero. Per chi valuta deployment on-premise, AI-RADAR offre framework analitici su /llm-onpremise per soppesare questi trade-off, ma il punto non è solo scegliere la macchina: è decidere quando conviene non usare il modello più grande.

La lezione va oltre il forecasting. Nei sistemi composti da LLM, retrieval e calibrazione, la domanda strategica non è quanto è intelligente il modello, ma chi decide quando l'intelligenza serve davvero. Lo stress test non offre una scorciatoia, ma un metodo per rendere questa decisione osservabile e correggibile.