Il fine-tuning con ricompense verificabili, noto come RLVR, è ormai il paradigma dominante per spingere i Large Language Models a ragionare in più passaggi. Sul campo, però, molte varianti recenti aggiungono un segnale esterno: tracce di esperti, auto-spiegazioni o schemi di pensiero recuperati. LUFFY, ExPO, PAPO e TAPO rientrano in questa famiglia e riportano guadagni empirici, ma nessuno aveva finora fornito tassi di convergenza, limiti sul bias o una regola per pesare quel segnale.

Il nuovo framework Guidance-Augmented GRPO, abbreviato GA-GRPO, colma questa lacuna. L'idea è di modellare la guida esterna come un operatore stocastico G che riscrive la distribuzione delle domande. Lo stimatore di policy-gradient che ne deriva è un estimatore on-policy affetto da bias, limitato dalla divergenza in variazione totale δ_G tra la distribuzione arricchita dalla guida e la distribuzione prodotta dalla policy stessa. Il framework include come casi particolari GRPO vanilla, LUFFY, ExPO, PAPO e TAPO.

I risultati teorici non sono astratti. Sotto ipotesi di smoothness e divergenza limitata, GA-GRPO converge a un intorno del punto stazionario di GRPO con tasso O(1/√T), ma l'ampiezza dell'intorno cresce come O(δ√T). In pratica, se la guida si allontana troppo dalla policy, il bias diventa il costo dominante. Il lavoro deriva anche il peso ottimale in forma chiusa: λ* = σ₀²/(σ₀² + R_max² δ² T). Poiché T sta a denominatore, il peso ideale della guida esterna diminuisce con l'avanzare dell'addestramento. Non è un dettaglio: suggerisce che la guida sia utile soprattutto nelle fasi iniziali, e che vada ridotta progressivamente quando la policy diventa più stabile.

Questa conclusione ha implicazioni concrete per chi allena modelli su hardware locale. Il team ha sperimentato con Qwen2.5-Math-7B-Base su nove benchmark di matematica e OOD, e il GA-GRPO con peso ottimale ha eguagliato o superato TAPO, LUFFY, ExPO e GRPO vanilla consumando il 31% in meno di GPU-ore. Per un deployment on-premise o self-hosted, dove il TCO del training è una variabile critica, non è una curiosità accademica: sapere quando spegnere o attenuare la guida esterna evita di pagare compute per un segnale che aggiunge bias invece di ridurre varianza.

C'è un punto strutturale che merita attenzione. La lower bound minimax dimostrata nello studio indica che il termine di bias Ω(δ² T) è inevitabile: nessuna procedura può eliminarlo del tutto se la guida diverge dalla policy. Di conseguenza, il valore di un dataset di tracce esterne non sta solo nella qualità dei contenuti, ma nella sua prossimità distribuzionale al comportamento che il modello sta apprendendo. Per i benchmark, questo sposta il confronto da semplici percentuali di successo a metriche di stabilità dell'estimatore e costo computazionale.

Otto esperimenti di analisi hanno validato ciascuna previsione teorica, rafforzando la tesi che la teoria non è un esercizio formale ma una guida pratica. Per chi valuta fine-tuning di LLM reasoning in contesti con budget GPU limitati, la lezione è chiara: la guida esterna va trattata come un regolatore da calibrare nel tempo, non come un plugin sempre attivo. Il risparmio di GPU-ore misurato nello studio non garantisce lo stesso risultato su ogni workload, ma segnala che l'ottimizzazione del peso può ridurre il costo marginale dell'addestramento senza sacrificare la qualità.