Il punto debole dei benchmark statici è noto: un LLM può rispondere correttamente a un problema di fisica perché ha visto formule e schemi simili nel training, senza mai toccare una massa, una molla o un piano inclinato. PhysMent prova a cambiare le regole. Il benchmark descritto dai ricercatori mette i modelli davanti a scene di meccanica classica nel simulatore MuJoCo e chiede loro di scoprire le informazioni necessarie agendo sull'ambiente: applicare forze, interrogare lo stato degli oggetti, far avanzare il tempo, modificare la geometria. I dati non sono consegnati all'inizio; vanno estratti attraverso un'interazione tool-mediata.

Il corpus comprende 105 scene organizzate in quattro regimi di difficoltà, tre modalità e una categoria dedicata alla manipolazione della scena, con una valutazione articolata su sei dimensioni. Non è un semplice questionario: il modello deve costruire una procedura sperimentale, interpretare i feedback del simulatore e decidere quando ha abbastanza elementi per rispondere.

I risultati raccontano una spaccatura netta. Nei compiti qualitativi a concetto singolo le prestazioni restano ragionevoli, con punte fino all'80% di accuratezza. Ma quando serve una misura quantitativa e una sequenza di passaggi precisa, la maggior parte degli LLM scende sotto il 30% nella categoria più difficile. Complessivamente, l'accuratezza va dal 25% al 67% tra i sette modelli valutati. Il dato più interessante è che il collo di bottiglia non è concettuale ma procedurale: i fallimenti arrivano da risposte premature, esplorazione inefficiente e ancoraggio incoerente ai feedback del simulatore, non da lacune teoriche sulla meccanica.

Questa distinzione ha conseguenze concrete per chi progetta sistemi che accoppiano LLM a simulazioni o a controlli fisici. Un modello che sa enunciare la legge di Newton ma non pianifica una sequenza di esperimenti consuma token e cicli di calcolo senza convergenza. In un deployment locale, questo si traduce in costi operativi e latenza: ogni step di tool calling e ogni rilettura dello stato attraversa il runtime, tiene occupata la memoria e allunga il contesto. Non è un problema che si risolve semplicemente aumentando la scala del modello; richiede orchestrazione dell'interazione, gestione dello stato persistente e un ciclo di feedback deterministico.

Per chi valuta deployment on-premise, il benchmark segnala un cambio di prospettiva: l'LLM non è più un risponditore isolato ma un agente dentro un ambiente. AI-RADAR offre strumenti analitici su /llm-onpremise per soppesare questi trade-off, ma il punto di fondo è che i benchmark interattivi spostano l'attenzione dalla qualità della singola risposta alla robustezza dell'intera pipeline. In questo senso, PhysMent non dice solo quali modelli vanno meglio, ma quali architetture di esecuzione hanno senso quando l'output corretto dipende da un processo, non da un colpo di genio.