Gli studi mostrano che le ottimizzazioni sui benchmark di coding non si trasferiscono alla programmazione generale e che il fine-tuning mirato ai benchmark distorce le classifiche. Anche le valutazioni mediche, di auto-riflessione, di framing e dei rilevatori di testo IA rivelano lacune di calibrazione, giudizi morali disomogenei e limiti dei rilevatori.
Un benchmark clinico controllato su gpt-4.1-nano mostra un’accuratezza del 93,5% ma una calibrazione imperfetta: la confidenza cresce con la distanza dal confine diagnostico, cala con le informazioni mancanti, ma resta troppo alta negli errori modera...
Il fine-tuning su SWE-bench non trasferisce capacità a suite come Django o LiveCodeBench. Il benchmark diventa obiettivo di addestramento e smette di misurare capacità generale. Per chi gestisce LLM self-hosted, un punteggio gonfiato falsa il calcolo...
Ottimizzare un LLM sui benchmark di coding più diffusi non ne migliora la capacità generale di programmazione. Una nuova suite basata su Django mostra che i ranking non si generalizzano e che il fine-tuning su SWE-bench produce guadagni limitati o nu...
Uno studio controllato a sei condizioni smonta un'assunzione diffusa: il valore dell'auto-riflessione nei LLM non arriva da domande diagnostiche o vocabolari di incertezza, ma dal routing tipizzato delle azioni. I dati mostrano guadagni consistenti e...
Uno studio controllato mostra che i rilevatori commerciali di testo AI non distinguono l’editing assistito da una bozza interamente generata. Le modifiche leggere, conformi a molte linee guida, vengono segnalate nel 64-80% dei casi, mentre gli origin...
Una ricerca su 28.592 titoli francesi rivela che i modelli LLM riconoscono in modo stabile frame di conflitto e gioco strategico, ma faticano con i giudizi normativi. I risultati offrono una chiave per progettare pipeline di annotazione locali che di...
