Per un agente LLM locale, il contesto attivo è una risorsa scarsa. La capacità di memoria, la latenza di prefill, la crescita della cache e gli obiettivi di servizio limitano quanti token di input ogni chiamata può permettersi. BudgetBench parte da qui, ma sposta il punto di osservazione: invece di misurare le strategie di memoria a un’unica lunghezza di contesto, tratta il budget di token per chiamata come variabile indipendente. Il protocollo tiene fissi modello, task, sampler e decoding e fa variare il budget tra 2K, 4K, 8K, 16K e 32K token, registrando qualità, utilizzo del budget, latenza e tassi di violazione del budget.

Il contributo principale non è una classifica finale. È una superficie di misura riutilizzabile: un contratto MemoryStrategy sostituibile, applicazione esplicita del budget, grader deterministici o versionati, metadati di audit dei prompt e artefatti di riproducibilità. Non è un dettaglio per addetti ai lavori. In un deployment locale il budget non è un parametro accademico, ma un vincolo di servizio che tocca VRAM, latenza e costo per chiamata.

I piloti non producono ranking definitivi. Su un modello locale qwen2.5:1.5b con 89 item ciascuno su SWE-bench Verified e LongBench v2, su una replica hosted da 50 item con Qwen3 30B-A3B e tokenizzazione esatta, e su uno studio oracle LongMemEval da 500 item valutato con GPT-4o ufficiale, l’harness fa emergere violazioni di conformità al budget, curve di qualità non monotone e punti operativi che una valutazione a budget singolo nasconde.

Il risultato più importante è forse ciò che la fonte dichiara irrisolto: il confronto tra strategia a budget ridotto e contesto completo non ha una direzione chiara. Nel pilot locale l’effetto è quasi nullo, mentre la replica hosted favorisce il contesto completo nella stima puntuale. Non va letto come un fallimento. Indica che la scelta della strategia di memoria non può essere separata dallo stack di deployment: tokenizzazione, modello, hardware e latenza influenzano il punto operativo.

Per chi valuta stack on-premise, c’è un segnale strutturale. I vincoli di budget trasformano la valutazione da “quanto è bravo il modello” a “quanto è disciplinato l’agente nel rispettare un contratto di servizio”. Un agente che produce risposte di alta qualità ma sfora ripetutamente il budget può degradare la latenza di coda, gonfiare la cache e spostare il TCO in modo non lineare. Includere i tassi di violazione come esito di primo livello, non come metrica secondaria, è una scelta metodologica rilevante.

La trasparenza è parte del protocollo. Il pilot iniziale usava un’approssimazione del tokenizer che sottostima alcuni prompt del modello servito; le righe di violazione, in quel caso, sono diagnostiche dell’approssimazione e non risultati su cui basare claim. Anche i tempi sono diagnostici operativi. Questa disciplina di failure reporting è forse l’eredità più utile per chi deve scalare valutazioni di memoria a budget fisso. Chi affronta decisioni di deployment on-premise può trovare su AI-RADAR framework analitici per valutare trade-off specifici, ma BudgetBench chiarisce che la variabile da isolare è il budget, non solo la qualità.