Il dato che separa le due piattaforme non è il tasso di successo, ma la quantità di token consumata per ottenere lo stesso risultato. In un benchmark condotto da un utente su 14 task cross-system con tre server MCP dietro (CRM, issue tracker e document store), Claude Managed Agents con Opus 4.8 ha risolto 11 task su 14 spendendo 11,8 dollari a run e 10 milioni di token. TrueForge con lo stesso Opus 4.8 ha risolto lo stesso numero di task, ma con 8,6 dollari e 3,7 milioni di token: il 63% in meno sui token e il 30% in meno sul costo per run. Anche il numero medio di chiamate strumento cambia: 19 per task contro 32.

Questa differenza non è solo una questione di fattura cloud. Nei carichi ad agenti, il consumo di token determina quanti agenti concorrenti possono girare sulla stessa capacità di inference, quanta VRAM resta disponibile per il contesto e quanto margine serve prima di saturare i limiti di richiesta. L'utente che ha condotto il test, dopo aver provato anche Claude Code, DeepAgents, OpenCode e Pi, considera Claude Code il più maturo per esperienza gestita, ma segnala costi e consumo di token elevato. DeepAgents rappresenta una via di mezzo per chi cerca un framework ad agenti più strutturato e open source.

Il passaggio a un modello diverso su TrueForge cambia ulteriormente i conti: con GLM-5.2 il benchmark registra una media di 11,7 task risolti su 14, 3,0 dollari per run e 3,8 milioni di token. In questo confronto, la media di task risolti è leggermente superiore a quella di Claude Managed Agents con Opus, a un costo inferiore del 75% circa. Il punto non è consigliare un fornitore, ma osservare che in uno stack aperto la scelta del modello può essere separata dal runtime: TrueForge consente di tenere ferma l'orchestrazione e cambiare modello per allineare costi, latenza o vincoli di residenza dei dati.

Il rovescio della medaglia è la maturità operativa. Lo stesso utente nota che il runtime open source non ha ancora tracing e strumenti di valutazione di prima classe, non include un sandbox per l'esecuzione del codice e usa una compressione del contesto volutamente lossy. Chi lo adotta su infrastruttura propria deve integrare questi pezzi e accettare un lavoro di messa in sicurezza che una piattaforma gestita include nel prezzo. La riduzione dei token, quindi, non è un risparmio automatico: diventa parte del TCO solo dopo aver costruito il layer di controllo.

È qui che la notizia smette di essere una classifica di harness e diventa un segnale strutturale. Nei deployment self-hosted, dove il costo marginale non è il token ma l'ora di GPU e l'energia, un runtime che riduce del 63% i token per task aumenta il numero di task utili per unità di capacità. La neutralità rispetto al modello e la possibilità di girare sulla propria infrastruttura spostano l'incentivo dal lock-in del vendor alla progettazione dell'orchestrazione. Il kit di benchmark usato è pubblico nel repository TrueForge. Chi valuta questi scenari può trovare su AI-RADAR, nella sezione /llm-onpremise, framework per confrontare i trade-off tra harness gestiti e runtime self-hosted.