Nel post-training dei LLM l'aggiornamento asincrono è diventato un paradigma quasi obbligato: appena arriva un rollout, il modello si aggiorna, invece di aspettare batch completi. Il vantaggio è l'efficienza, ma il prezzo è un equilibrio instabile quando il modello di valore non è ancora maturo. Il paper su Li²SAO parte da qui e propone una variante che cerca di colmare il gap iniziale senza un modello di valore pre-addestrato.

La storia parte da GRPO e SAO. Il campionamento a gruppi di GRPO, sostengono i ricercatori, si adatta male all'addestramento asincrono perché la lunghezza dei rollout segue una distribuzione a coda lunga. SAO era nato per rispondere a questo, migliorando stabilità e comportamento off-policy soprattutto nei task agentici. Ma SAO ha un vincolo pesante: si appoggia a un modello di valore closed-source, ottenuto scalando un pretraining dedicato. LiSAO è la riproduzione leggera di SAO senza quel modello di valore.

Nei test su ragionamento single-turn e compiti agentici multi-turn, il framework si inverte. GRPO batte LiSAO nei task di ragionamento, mentre LiSAO vince nei compiti agentici. Il problema non è la qualità finale, ma la partenza: il modello di valore di LiSAO non è ancora ben addestrato e nelle prime fasi di training il divario con GRPO è ampio.

Qui entra Li²SAO. L'idea è un bootstrapping group-relative: finché il critico è freddo, l'attore viene addestrato con un vantaggio group-relative e il critico con un ritorno centrato sul gruppo. Quando il critico è pronto, l'algoritmo passa a GAE su singolo rollout. Nei risultati presentati, Li²SAO recupera o supera GRPO già dalle prime fasi e alza anche il tetto prestazionale successivo.

Il nodo industriale del critico freddo

La tesi che emerge non è solo accademica. La dipendenza da un modello di valore closed-source è un vincolo operativo: in un contesto self-hosted o on-premise, ogni componente esterno aggiunge un'integrazione da mantenere, una superficie di dati da esporre e un costo di licenza o di servizio. Un algoritmo che apprende il valore internamente riduce questa dipendenza, rendendo il fine-tuning più riproducibile e più controllabile.

C'è anche un segnale strutturale per il settore. Il fatto che il cold start del critico incida soprattutto nelle fasi iniziali cambia gli incentivi: non basta progettare il metodo più elegante a regime, bisogna progettare la transizione. Chi lavora con infrastrutture locali — laboratori, aziende che non possono spostare dati su cloud — beneficia di algoritmi che non presuppongono modelli ausiliari esterni. Chi aveva investito in modelli di valore proprietari e scalati vede invece ridursi uno dei differenziali competitivi.

Il repository con il codice è disponibile su GitHub. Non è solo una riproduzione: è un indizio che il prossimo fronte del post-training asincrono non sarà solo la scala del modello, ma la riduzione del debito tecnico nella fase di avvio.