Chiunque abbia provato a integrare un Large Language Model in un’applicazione reale sa che il successo non dipende solo dalla precisione delle risposte, ma dalla capacità del modello di restituire l’output nel formato atteso. Un nuovo studio su larga scala mette in luce quanto questa dipendenza possa essere sottovalutata, al punto da rendere i ranking tradizionali potenzialmente ingannevoli.

I ricercatori hanno eseguito oltre 140.000 generazioni attraverso OpenRouter, coprendo sette task di domande e risposte, cinque famiglie di “wrapper” (i modi in cui il prompt viene impacchettato, da linguaggio libero a XML o JSON strutturati) e quattro modelli di tipo instruct con dimensioni comprese tra 7 e 72 miliardi di parametri. Hanno quindi introdotto due metriche complementari: il Format Sensitivity Index (FSI), che misura l’escursione di accuratezza al variare del wrapper, e il Parseability Sensitivity Index (PSI), che fa lo stesso per la capacità di “parserizzare” l’output (ovvero di estrarre automaticamente la risposta in modo affidabile). Il risultato più sorprendente? L’FSI medio varia di oltre 30 volte tra un modello e l’altro, e la causa principale non risiede in differenze di “intelligenza”, ma nei fallimenti di conformità sintattica.

In altre parole, un modello può sembrare eccellente su un benchmark solo perché per quel particolare formato produce risposte facilmente estraibili, mentre con una virgola in più o un tag leggermente diverso il sistema di parsing si rompe e la prestazione crolla. L’analisi di regressione a effetti fissi conferma che la parseability resta un predittore forte dell’accuratezza anche dopo aver controllato per task, modello e wrapper. Ciò significa che parte del punteggio attribuito alla competenza del LLM è in realtà un artefatto della buona riuscita del parsing.

L’implicazione per chi valuta modelli in ottica di deployment è chiara: un numero secco di accuratezza non dice nulla sulla robustezza del sistema. In produzione, specie in architetture on-premise dove l’automazione è spinta e non c’è un operatore umano a correggere al volo, la capacità di produrre output strutturati in modo coerente è cruciale quanto la correttezza del contenuto. Un modello che oscilla selvaggiamente nella parseability a seconda del prompt è un anello debole che può mandare in stallo intere pipeline.

Lo studio propone raccomandazioni pratiche: per ogni benchmark bisognerebbe sempre riportare la varianza indotta dai wrapper e un indice di conformità, perché senza questi dati le classifiche sono statisticamente fragili. Questo sposta l’attenzione dai soli parametri di scala (quanto è grande il modello) verso la qualità dell’allineamento e del fine-tuning: un LLM più piccolo ma più “obbediente” al formato potrebbe essere una scelta più sensata per molti casi d’uso enterprise.

In definitiva, se vogliamo che i Large Language Models diventino componenti infrastrutturali affidabili, dobbiamo smettere di valutarli come oracoli di sola verità testuale e iniziare a misurarne la sensibilità al contesto formale. I prossimi leaderboard farebbero bene a includere, accanto al solito punteggio di accuratezza, un “Format Sensitivity Index”: potrebbe rivelarsi il vero differenziatore tra una demo e un prodotto.