Chiunque abbia visto un LLM risolvere un problema di matematica o scrivere una mail impeccabile potrebbe pensare che l'intelligenza artificiale linguistica sia ormai pronta per affrontare qualsiasi sfida professionale. Poi arriva un test come WuYuEval e l'illusione si incrina. Questo benchmark, presentato da un team di ricerca cinese e specifico per la gestione dei rifiuti solidi (Solid Waste Management), mette a nudo le fragilità di modelli che, alzi la mano, tutti consideravamo quasi infallibili.

Su 4.590 domande a risposta multipla inserite nel modulo Foundation, il modello migliore ha raggiunto un'accuratezza del 94,64%. Un dato che, isolato, sembrerebbe eccellente. Ma la distribuzione dell'errore nasconde un crollo verticale: se sulle domande facili i modelli in media azzeccano l'84,14% delle risposte, su quelle difficili la percentuale scende a un desolante 42,50%. Il salto non è casuale: le domande difficili coinvolgono calcoli numerici, progettazione di esperimenti, pianificazione urbana e scenari a risposta aperta dove l'LLM non può scegliere tra opzioni ma deve elaborare una soluzione vincolata.

Non è una sorpresa per chi lavora sul campo. Un LLM generalista allena le sue reti su miliardi di testi provenienti dal web; quando lo si interroga su un dominio come la gestione dei rifiuti, fatti di fragili equilibri tra costi, norme ambientali e vincoli ingegneristici, la conoscenza libraria non basta. WuYuEval lo dimostra con il suo Expert Module: 247 domande aperte che chiedono di bilanciare obiettivi multipli, scegliere tra trade-off e progettare sistemi. Qui molti modelli collassano, anche se fatti "ragionare" a voce alta.

E proprio la modalità "Thinking" – il ragionamento passo-passo che ormai molti provider pubblicizzano come toccasana – non offre garanzie uniformi. Il benchmark mostra che dopo un auditing accurato le modalità di pensiero migliorano la maggior parte delle coppie di modelli, ma i guadagni dipendono dalla capacità di base: se il modello di partenza è fragile, la deliberazione esplicita può addirittura peggiorare le cose. I ricercatori lo spiegano in modo cristallino: il ragionamento visibile aiuta solo quando resta ancorato a unità di misura, assunzioni e vincoli ingegneristici espliciti; altrimenti, le parole prendono il sopravvento e la risposta si allontana dalla soglia decisionale giusta.

Queste evidenze hanno implicazioni profonde per chi valuta il deployment di LLM in contesti industriali e infrastrutturali. Un comune che volesse usare un assistente AI per ottimizzare la raccolta differenziata o per dimensionare un impianto di trattamento non può accontentarsi di test generici: un errore di calcolo o una scelta progettuale sbagliata si traducono in costi reali e rischi per la salute pubblica. E qui entra in gioco la scelta architetturale: mentre le API cloud offrono modelli sempre più potenti, la loro valutazione su compiti di dominio resta un'attività da condurre in-house, possibilmente su infrastruttura controllata, per non esporre dati sensibili e per personalizzare la pipeline di fine-tuning con metriche specifiche.

WuYuEval non è solo un esercizio accademico su un settore di nicchia. È un segnale per l'intero ecosistema: i benchmark generalisti stanno perdendo utilità predittiva quando si passa a decisioni professionali vincolate. Per le organizzazioni che scelgono la strada on-premise, disporre di framework di valutazione modulari e multi-livello diventa un elemento di sovranità tecnicica: testare, correggere e riaddestrare i modelli sui propri dati, nei propri server, senza dipendere da giudizi esterni preconfezionati. L'AI nel mondo reale non si misura in percentuali astratte, ma nella capacità di non sbagliare quando quel bidone della differenziata diventa un problema da centomila euro.