Il dato più scomodo di BI-Bench non è che i LLM di frontiera sbagliano. È che sbagliano proprio dove le aziende hanno meno margine: nel collegare tabelle, trasformare dati e rispondere senza la preparazione manuale che oggi tiene in piedi Power BI e Tableau. Il benchmark, costruito estraendo coppie domanda-risposta da progetti reali di business intelligence pubblici, fotografa un limite strutturale dei LLM frontier: meno del 50% di accuratezza quando devono affrontare l'intero flusso, dalla ricerca delle tabelle alla risposta, senza che un utente li guidi passo passo.

Il motivo non è solo la complessità del linguaggio naturale. La business intelligence end-to-end richiede operazioni su dati strutturati — ricerca, join, trasformazione — che un modello puro, per quanto potente, non risolve con una semplice generazione di token. Serve un'architettura che orchestri metodi specializzati di data management. È quello che fa BI-Agent: decompone il flusso in sotto-attività e affida ciascuna a strumenti dedicati, anziché pretendere che il modello faccia tutto in un colpo solo.

Il guadagno più interessante arriva però dal post-training. Gli autori hanno sintetizzato traiettorie di addestramento da progetti BI reali e hanno poi usato fine-tuning supervisionato (SFT) e reinforcement learning (RL). Con modelli vanilla, BI-Agent guadagna fino a 40 punti percentuali; il post-training aggiunge guadagni fino a 30 punti. Sono incrementi che segnalano un cambio di baricentro: non è la scala del modello a fare la differenza, ma la capacità di addestrarlo su flussi di lavoro specifici, vicini ai dati e ai vincoli dell'azienda.

Questa storia interessa soprattutto chi valuta deployment on-premise o self-hosted. Per addestrare un agente su dashboard e schemi proprietari, i dati non possono finire in un'API generica: devono restare vicino ai sistemi che li generano. Inoltre, il post-training con RL richiede infrastruttura di calcolo dedicata — tipicamente GPU con VRAM adeguata per il fine-tuning — e una pipeline di dati robusta. Non si tratta di un semplice prompt engineering. Il costo complessivo, il TCO, si sposta così dalla tariffa per token verso l'orchestrazione, la qualità dei metadati e il controllo delle tabelle. Chi possiede già un data warehouse locale e competenze di data engineering parte avvantaggiato; chi si affida solo a modelli cloud perde la possibilità di addestrare su dati sensibili e di ottimizzare il flusso.

Per chi valuta questi trade-off, AI-RADAR mette a disposizione framework analitici su /llm-onpremise per confrontare controllo dei dati e complessità operativa.

Il punto di BI-Bench non è che i modelli sono inutili. È che il prossimo salto nella business intelligence non arriverà da un LLM più grande, ma da agenti capaci di usare strumenti giusti su dati che l'azienda può governare. Resta aperta la domanda su quanto questi risultati reggano al di fuori dei progetti pubblici usati per il benchmark.