Nuove tecniche di ragionamento nascosto, decodifica basata su modifiche, compressione e LLM a diffusione puntano a ridurre token, latenza e costo computazionale.
Il progetto ORL (On-Policy Residual Learning) promette di accelerare i diffusion LLM senza sacrificare la qualità. Su una singola RTX 5090 il team segnala 2.788 token/s con LLaDA-2.1-mini in NVFP4; il motore di inference dlmrt, open source, sfrutta C...
Un preprint di Stanford, Together AI, UIUC e Meta introduce i Hybrid Reasoning Agents: modelli che ragionano in modo interno e producono testo solo per tool e risposta finale. Nei test segnalati guadagnano circa il 10%, usano metà token, girano due v...
PRISM recupera un segnale per-query da corpora di grafi verificati che non hanno ranking. Un teacher legge un grafo sibling tramite un ramo low-rank zero-initialized; lo studente allinea i target decisionali su traiettorie auto-campionate. Su sei ben...
Quando più modelli raggiungono punteggi quasi perfetti, i benchmark perdono capacità di distinguerli. Uno studio mostra che le trascrizioni complete dei task, anche da benchmark saturi, conservano informazioni predittive. Il pairwise judging riduce l...
Un gruppo di ricercatori usa un LLM 'inverso' per ricostruire le tracce di ragionamento partendo dalle sole risposte. Il modello, addestrato una volta, genera in modo offline i passaggi intermedi per dati prompt-risposta, evitando i rollout multipli ...
AutoIndexer introduce un meccanismo di decodifica basato su una catena di modifiche: il modello può inserire, sostituire o eliminare token dopo la generazione, spostando un cursore come in un editor. Addestrato su sequenze perturbate, impara a correg...
Un nuovo formato di compressione per LLM usa interi algebrici invece dei soliti formati in virgola mobile o fixed-point. La ricerca mostra accuratezza competitiva con il formato MX a parità di bit per parametro. Per l’inference self-hosted, il vantag...
