I modelli di ragionamento estesi pagano un costo poco visibile nei benchmark: generano catene di pensiero lunghe, e la lunghezza non è neutra per chi deve servire un LLM su hardware proprio. ERR+ parte da un'osservazione empirica su diverse famiglie di modelli: le tracce corrette mostrano cali di entropia a livello di token più frequenti e ampi nella fase di pensiero rispetto a quelle errate. Il gruppo che ha sviluppato il framework usa questa regolarità come leva di training.

La prima fase di ERR+ introduce l'Entropy Relief Reward, un bonus proporzionale ai cali cumulativi di entropia nella fase di pensiero, normalizzato in scala logaritmica rispetto alla lunghezza della risposta. L'aspetto importante è che non si reprime l'entropia: si premia solo il momento in cui l'incertezza si risolve. Gli stati esplorativi ad alta entropia restano liberi, evitando di appiattire la ricerca.

La seconda fase aggiunge il Robust Relative Efficiency Reward, che valuta la lunghezza di ogni risposta rispetto a quelle generate insieme, usando uno z-score di gruppo trasformato con tanh. L'analisi formale mostra che ottimizzare insieme i due obiettivi crea conflitto di gradiente nelle prime fasi dell'addestramento; da qui la scelta di una sequenza in due fasi anziché una somma. Sugli esperimenti riportati, che coprono cinque dataset, il metodo porta miglioramenti costanti sia nell'accuratezza sia nella concisione delle risposte su diverse architetture.

La direzione che questo lavoro segnala è un cambio di incentivi nella RLVR: non basta premiare la correttezza finale, bisogna dare un segnale sulla qualità della struttura interna del ragionamento. Per chi gestisce modelli in self-hosted questo non è un dettaglio accademico. Ridurre la lunghezza delle tracce di ragionamento, a parità di accuratezza, abbassa il numero di token da generare e quindi il tempo di occupazione delle GPU, l'energia consumata e la latenza percepita. In un contesto on-premise dove l'hardware è dimensionato su carichi prevedibili, il risparmio si traduce in TCO, non in una riga di costo cloud variabile.

Per chi valuta deployment on-premise, il tema della lunghezza dei token è uno dei parametri da mettere accanto a VRAM e throughput; AI-RADAR offre framework analitici su /llm-onpremise per leggere questi trade-off. Il disegno sequenziale non è un dettaglio implementativo: il conflitto di gradiente tra i due obiettivi indica che non si possono sommare semplicemente nelle prime fasi. Anche il confronto tra pari per la lunghezza evita di imporre un target assoluto su prompt eterogenei, un vantaggio quando si passa dai benchmark alle condizioni operative reali.

Il codice è disponibile su GitHub, ma il punto non è il singolo framework: è che il ragionamento smette di essere una scatola nera da valutare solo sul risultato finale. La struttura interna diventa un obiettivo di training.