Il punto di partenza di Memento è un problema che chiunque abbia provato a far lavorare un agente LLM su un libro conosce bene: non puoi tenere tutto nel contesto. La ricerca non cerca di allargare la finestra, ma di insegnare al modello a compattare. Il team costruisce l'agente su Qwen3-8B, un modello da otto miliardi di parametri, e lo addestra a gestire il contesto attraverso note auto-generate. Su quattro benchmark di domande su libri, con volumi fino a 2,5 milioni di token, Memento porta l'accuratezza dal 36,9% al 67,8%, senza mai superare 20.000 token di contesto.

L'addestramento avviene in due fasi. Prima si preparano traiettorie sintetiche annotate con note generate a posteriori, un bootstrapping che consente di avviare il fine-tuning senza aspettare che il modello impari da zero. Poi si applica reinforcement learning con una reward che somma correttezza della risposta, euristiche sulla qualità delle note e calibrazione della confidenza. Il punto chiave è che il solo RL, su modelli agentici già pronti come GPT-5.5 o GLM-5.3, raramente scopre un comportamento di presa di note utile: servono segnali espliciti e un percorso di apprendimento guidato.

I risultati sono sorprendenti soprattutto per il confronto con modelli molto più grandi. Memento supera un agente GPT-5.5 nello stesso harness (13,1%) e la condizione con contesto libro completo (56,7%) a meno di un cinquantesimo del costo. Si avvicina a un agente GLM-5.3 di circa cento volte più grande (69,3%) a un nono del costo, e resta a 6,4 punti dal contesto pieno di GLM-5.3 spendendo un ventiseiesimo. Il dato tecnico più rilevante è che il modello non tiene mai più di 20.000 token: il resto del libro passa attraverso una politica di compattazione che decide cosa conservare.

Questa storia ha implicazioni strutturali per chi valuta deployment locale. Una finestra di contesto da 20.000 token riduce la pressione su VRAM e calcolo rispetto a contesti da centinaia di migliaia o milioni di token: l'attenzione scala in modo quadratico nella lunghezza della sequenza e tenere in memoria attivazioni aggiuntive ha un costo diretto. Se un modello da 8 miliardi di parametri riesce a competere su documenti lunghi grazie a una policy di compattazione appresa, l'inference su hardware più modesto e self-hosted diventa una strada concreta. Non è una teoria: i numeri di costo mostrano che la differenza di spesa può essere di uno o due ordini di grandezza.

C'è poi un vantaggio di sovranità dei dati. Compattare il contesto sul dispositivo evita di spedire l'intero documento a un'API esterna: le note intermedie e la memoria dell'agente restano nel perimetro locale. Per chi tratta documenti sensibili, questo sposta il discorso dal solo risparmio alla conformità. Memento segnala che il progresso nei long-context agent non passa soltanto dall'allargare la finestra o dal modello più grande, ma dall'ingegnerizzare una pipeline di gestione del contesto: un investimento in addestramento che si ripaga in inference e TCO. E la lezione è chiara: il prossimo salto di efficienza potrebbe venire da modelli più piccoli che imparano a dimenticare meglio.