Nuovi strumenti e studi stanno esaminando spazio latente, attenzione e token di ragionamento nascosti nei modelli transformer. Questo filone rivela overthinking, direzioni di verità e cambiamenti delle rappresentazioni tra i layer, estendendo l'introspezione oltre i benchmark statici.
Uno studio controllato a sei condizioni smonta un'assunzione diffusa: il valore dell'auto-riflessione nei LLM non arriva da domande diagnostiche o vocabolari di incertezza, ma dal routing tipizzato delle azioni. I dati mostrano guadagni consistenti e...
Un retrofit ricorrente su Qwen2.5-0.5B-Instruct permette ragionamento iterativo latente con budget parametrici ridotti. Il modello eguaglia il blocco completo, estrapola la profondità oltre l'addestramento e risponde 7,6 volte più veloce di un modell...
Un paper svela come estrarre tutti i token di reasoning dai modelli Claude e GPT. Emergono overthinking diffuso, benchmark contaminati dalla memoria e l’uso del gap da parte della Cina per distillare modelli. La chiusura della falla ridefinisce il ve...
Un nuovo framework usa l'omologia persistente per tracciare la trasformazione delle rappresentazioni token da strato a strato. L'analisi topologica globale potrebbe indicare dove e come i modelli sviluppano feature rilevanti, con implicazioni per ott...
Un team di ricerca sfrutta l’activation engineering per estrarre una direzione della menzogna nello spazio latente dei transformer. Senza fine-tuning né recupero di prove esterne, la proiezione dell’ultimo token alimenta un classificatore MLP. Il met...
Rilasciato dopo due anni di sviluppo, un ambiente ibrido codice/GUI dentro i notebook per ispezionare modelli, gestire prompt, analizzare logit, attention e stati nascosti, eliminando boilerplate e gestendo la memoria GPU. Aperto a ricercatori e appa...
