Nuovi studi esplorano il ragionamento latente auto-spiegabile, la topologia delle rappresentazioni dei token, il pensiero latente ricorrente, la memoria causale a blocchi e l'estrazione delle tracce di ragionamento nascoste. Queste tecniche puntano a rendere i Transformer più efficienti o trasparenti, evidenziando al contempo comportamenti di overthinking e memorizzazione.
BCMT separa l'interazione locale tra token dalla propagazione globale del contesto. Nei test fino a 1024 token, offre prestazioni di validazione paragonabili ai Dense Transformer, con throughput di training più alto e minor consumo di memoria. Il mec...
SELR propone un unico modello capace di ragionare in forma latente e spiegare i propri passaggi in linguaggio naturale. L'addestramento multi-task combina Answer Loss e CoT Loss, eliminando decoder esterni e tenendo la spiegazione legata al ragioname...
Un retrofit ricorrente su Qwen2.5-0.5B-Instruct permette ragionamento iterativo latente con budget parametrici ridotti. Il modello eguaglia il blocco completo, estrapola la profondità oltre l'addestramento e risponde 7,6 volte più veloce di un modell...
Un paper svela come estrarre tutti i token di reasoning dai modelli Claude e GPT. Emergono overthinking diffuso, benchmark contaminati dalla memoria e l’uso del gap da parte della Cina per distillare modelli. La chiusura della falla ridefinisce il ve...
Un nuovo framework usa l'omologia persistente per tracciare la trasformazione delle rappresentazioni token da strato a strato. L'analisi topologica globale potrebbe indicare dove e come i modelli sviluppano feature rilevanti, con implicazioni per ott...
