I ricercatori stanno decodificando comportamento chain-of-thought, attivazioni e rappresentazioni latenti per rendere il ragionamento degli LLM più prevedibile e ispezionabile. Nuove metriche e analisi topologiche rivelano quando e come i modelli passano da un'elaborazione graduale a una comprensione improvvisa.
Un paper svela come estrarre tutti i token di reasoning dai modelli Claude e GPT. Emergono overthinking diffuso, benchmark contaminati dalla memoria e l’uso del gap da parte della Cina per distillare modelli. La chiusura della falla ridefinisce il ve...
Una ricerca su 28.592 titoli francesi rivela che i modelli LLM riconoscono in modo stabile frame di conflitto e gioco strategico, ma faticano con i giudizi normativi. I risultati offrono una chiave per progettare pipeline di annotazione locali che di...
Un nuovo framework usa l'omologia persistente per tracciare la trasformazione delle rappresentazioni token da strato a strato. L'analisi topologica globale potrebbe indicare dove e come i modelli sviluppano feature rilevanti, con implicazioni per ott...
Un team di ricerca sfrutta l’activation engineering per estrarre una direzione della menzogna nello spazio latente dei transformer. Senza fine-tuning né recupero di prove esterne, la proiezione dell’ultimo token alimenta un classificatore MLP. Il met...
Un nuovo framework usa la mean-field approximation per descrivere statisticamente il chain-of-thought reasoning. I token 'indizio' vengono identificati tramite surprisal e le regolarità emerse sono riproducibili e modellabili con un'equazione differe...
Un team di ricerca ha messo a punto una metrica scalare che cattura il momento in cui un modello linguistico passa da un’elaborazione graduale a una comprensione tipo “interruttore”. Il dato concreto: 9,6 volte più selettività per la struttura lingui...
