Quando un agente di coding basato su LLM lavora su una codebase, il suo comportamento ricorda quello di un programmatore alle prime armi: legge un file, lo appunta nella cronologia e poi dimentica che l’informazione è cambiata. Il modello costruttivo tradizionale, quello append-only, incolla ogni lettura nella traiettoria come una fotografia istantanea. Peccato che se l’agente stesso o un collega umano modifica quel file, lo snapshot diventa subito obsoleto. L’agente, confuso, rilegge lo stesso file più volte, gonfiando la cronologia di copie ridondanti e consumando token preziosi. CORVUS, un’architettura presentata da un gruppo di ricerca, affronta il problema alla radice: anziché accumulare letture, mantiene un registro sincronizzato dei file rilevanti e inietta ogni volta solo il contenuto aggiornato.

Il meccanismo è semplice ma radicale. Invece di considerare ogni azione di lettura come un evento storico da appendere, CORVUS la separa dall’osservazione: l’agente sa di aver letto un file, ma il contenuto effettivo viene recuperato dal registro al momento del ragionamento successivo. Questo significa che la traiettoria resta costantemente allineata allo stato reale della codebase, senza affordare la ridondanza di snapshot multipli. Nei test su SWE-POLYBENCH_VERIFIED e SWE-BENCH PRO con quattro LLM, il risparmio è stato netto: dal 9 al 50% in meno di token in ingresso per task, prompt finali più corti del 15-32% e fino al 37% di cicli di ragionamento in meno, il tutto mantenendo pass rate comparabili.

Per chi valuta deployment on-premise di coding agent, questi numeri hanno un peso specifico notevole. Ogni token in meno riduce il carico computazionale durante l’inference: meno VRAM occupata dal contesto, latenza più bassa e, soprattutto, costi operativi inferiori. In uno scenario self-hosted, dove le GPU pagate in conto capitale devono servire il massimo throughput, dimezzare i token significa poter gestire più task in parallelo o estendere la finestra di contesto utile senza saturare la memoria. CORVUS non richiede modifiche al modello né hardware aggiuntivo: è un intervento puramente architetturale sulla traiettoria, quindi applicabile a qualsiasi LLM in esecuzione.

C’è poi un aspetto di sovranità dei dati che merita attenzione. Nei sistemi tradizionali, la moltiplicazione degli snapshot non solo spreca token, ma moltiplica le copie della codebase in giro per la pipeline. In un contesto regolamentato (GDPR, dati proprietari), limitare la proliferazione di queste copie riduce la superficie di esposizione e semplifica gli audit. CORVUS, mantenendo un unico registro sincronizzato, riduce di fatto la dispersione delle informazioni sensibili, un vantaggio collaterale per chi opera in ambienti air-gapped o con vincoli di residenza dei dati.

L’architettura segna un cambio di mentalità: non si tratta più di potenziare i modelli, ma di renderli più efficienti a valle dell’inference. È lo stesso principio che ha guidato la quantization e il pruning: ridurre gli sprechi senza sacrificare la qualità. CORVUS dimostra che anche la gestione della traiettoria è un terreno fertile per l’ottimizzazione, con benefici immediati per le pipeline locali. Mentre i vendor di servizi cloud spingono per token più costosi, soluzioni come questa rendono sempre più attraente l’inference on-premise, dove il controllo sui costi è diretto e ogni ottimizzazione si traduce in margini operativi migliori.