Sfruttare l’enorme finestra di contesto dei transformer per decidere meglio senza toccare i pesi del modello: un sogno che sembrava alla portata con la rinascita dell’in-context reinforcement learning (ICRL). Decision-pretrained transformer, algorithm distillation, meta-RL a contesto lungo, agenti retrieval-augmented: tutte strade che puntano a far emergere un apprendimento immediato, istantaneo, dalla sola storia di interazioni. Ma il terreno sotto i piedi non è mai fermo, e proprio questa non-stazionarietà rischia di trasformare il contesto in una trappola.

Una survey appena diffusa — "In-Context Reinforcement Learning under Non-Stationarity" — mette ordine in questo campo ancora trascurato. Non si limita a elencare obiettivi di pre-training o architetture. Mette il dito nella piaga: quando le regole del gioco cambiano, la memoria accumulata non è più una risorsa innocua. Può diventare obsoleta, fuorviante, salvo poi tornare utile se il vecchio regime riemerge. Il modello deve decidere cosa scartare, cosa conservare e a cosa credere, tutto a parametri congelati.

Inference senza palestra

Al cuore dell’ICRL c’è l’idea di delegare l’adattamento al puro calcolo in-context, senza sessioni di fine-tuning. Il modello, pre-addestrato o messo a punto su distribuzioni di compiti, osserva ricompense, transizioni, dimostrazioni, feedback e recupera esperienze passate. Da questo crogiolo estrae la regola latente del compito corrente e la usa per migliorare le scelte successive. Nessun aggiornamento dei parametri: la politica rimane fissa.

L’approccio apre prospettive concrete per chi opera in ambienti dove i dati non possono uscire dal perimetro aziendale. Un assistente decisionale on-premise potrebbe assimilare turni di interazioni con un operatore senza mai inviare log in cloud, adattandosi a dinamiche stagionali o a cambi normativi semplicemente guardando la cronologia recente. La sovranità del dato viene esaltata, il TCO alleggerito dalla rinuncia a costosi cicli di riaddestramento.

Ma la survey avverte: la non-stazionarietà scardina questa elegante costruzione. Se il segnale di ricompensa, il modello di transizione, il canale di osservazione o persino l’interfaccia delle azioni cambiano, il passato smette di essere un maestro affidabile. E il contesto, che in ICRL funge da unico archivio e oracolo, può suggerire strategie letali.

Le tre domande che nessuno faceva

Gli autori organizzano la letteratura attorno a tre quesiti che ogni implementazione on-premise dovrebbe porsi: cosa cambia nell’ambiente, come si dipana il cambiamento, e quanto è osservabile dall’agente. Non tutte le derive sono uguali: un turnover brusco dei clienti richiede strumenti diversi da un degrado lento dei sensori, e la capacità di percepire il mutamento determina se il modello può riconoscere che il vecchio consiglio è scaduto.

Questo ha conseguenze di secondo ordine per l’infrastruttura. Chi spinge contesti sempre più lunghi, rincorrendo finestre da milioni di token, rischia di esasperare il problema: più storia accumuli, più alto è il costo computazionale e più difficile diventa separare i segnali freschi dai residui inquinanti. Non basta aggiungere VRAM o aumentare la banda di memoria; serve un’intelligenza del contesto — meccanismi di attenzione capaci di depriorizzare segmenti ormai inaffidabili, architetture che segmentino la finestra in regimi, forse retrieval-augmented memory esplicita.

Per i vendor di modelli e piattaforme, la survey segna uno spartiacque. Finora il mercato ha premiato chi offriva il contesto più lungo. D’ora in poi conterà anche chi saprà gestire la qualità temporale dell’informazione. I team legali e compliance di banche, assicurazioni e manifatturiero, già orientati al self-hosted per timori di data leakage, troveranno in queste analisi un argomento per esigere non solo modelli più grandi ma modelli più consapevoli della deriva concettuale.

La direzione tracciata è chiara: l’ICRL non stazionaria ribalta la prospettiva sull’apprendimento pigro. Imparare all’istante dal contesto è potente, ma solo se il contesto sa dimenticare.