Il collo di bottiglia dei sistemi multi-agente non è sempre il modello: spesso è la memoria. Quando un LLM esplora in parallelo generando sotto-agenti, ogni ramo tende a duplicare i prefissi nella KV cache; i risultati si scambiano rielaborando riassunti testuali e le dipendenze tra rami finiscono semplificate o cancellate durante il reinforcement learning. Octopus, un framework di reinforcement learning multi-agente a modello singolo, aggira il problema alla radice: tutti i thread condividono una backbone e coordinano gli stati su un grafo aciclico diretto (DAG) residente in GPU, attraverso cinque primitive: fork, read_thread, wait_threads, rewind e commit.

Il primo meccanismo, Zero-Copy Radix Forking, crea rami come viste cursore O(1) su pagine fisiche condivise della KV cache. Il secondo, Attention-Only KV Mounting, monta i blocchi KV terminali di un thread fratello direttamente negli strati full-attention, bypassando gli stati lineari ricorrenti di architetture ibride come Gated DeltaNet e Mamba-2: l’hijacking off-task si riduce di 21 volte (dal 57,9% al 2,7%) e l’informazione mutua full-text resta al 92,2%, senza allocare KV aggiuntiva. Il terzo, Packed DAG-GRPO Trainer, impacchetta tutti i rami di un episodio in un unico passaggio di attenzione block-sparse e assegna credito controfattuale ai rami con ricompense marginali leave-one-branch-out.

I numeri raccontano una storia precisa. Addestrato end-to-end con GRPO su Qwen3.5-4B usando un corpus BM25 sparse, Octopus raggiunge il 49,6% di accuratezza su BrowseComp-Plus: un guadagno di 17,5 punti rispetto a GRPO single-agent con contesto da 143K e di 12,5 punti rispetto al RL multi-agente che scambia riassunti testuali. Su OpenResearcher arriva al 51,2%, superando agenti con retrieval denso fino a 250 volte più grandi. Il throughput di training cresce di 3,3 volte e la memoria KV di picco si riduce di 2,8 volte.

Per chi valuta stack self-hosted, il segnale strutturale è netto: la competizione si sta spostando dalla dimensione del modello all’efficienza con cui il sistema gestisce stati condivisi e memoria. Non è solo throughput: ridurre la KV cache di picco cambia il profilo hardware necessario, abbassa la pressione sulla VRAM e può rendere praticabile un multi-agente complesso su una singola GPU, senza migrare a configurazioni distribuite. Octopus mette anche in luce un vincolo poco discusso degli approcci ibridi attention-ricorrenti: quando si mescolano stati full-attention e lineari ricorrenti, il trasferimento tra rami può introdurre interferenze che il mounting selettivo contiene. Questo ha implicazioni per chi progetta pipeline di inference e training on-premise, dove ogni gigabyte di VRAM e ogni passaggio di calcolo pesano sul TCO. Per chi valuta deployment on-premise, i trade-off tra memoria, throughput e TCO sono esattamente il terreno delle analisi AI-RADAR su /llm-onpremise.