La gestione efficace del contesto è fondamentale per gli agenti AI, specialmente quando la lunghezza delle attività aumenta. Deep Agents, l'SDK open source di LangChain, offre un ambiente per sviluppare agenti capaci di pianificare, generare sotto-agenti e interagire con un filesystem per eseguire compiti complessi.

Tecniche di compressione del contesto

Deep Agents implementa diverse tecniche di compressione per gestire i limiti della finestra di contesto dei modelli:

  1. Offload dei risultati di tool di grandi dimensioni: Le risposte di tool che superano i 20.000 token vengono salvate nel filesystem, sostituite nel contesto con un riferimento al file e un'anteprima.
  2. Offload degli input di tool di grandi dimensioni: Gli argomenti di tool per operazioni di scrittura/modifica file vengono troncati e sostituiti con un puntatore al file quando il contesto supera l'85% della finestra disponibile.
  3. Summarization: Quando l'offload non è sufficiente, viene generato un riassunto strutturato della conversazione (intent della sessione, artefatti creati, prossimi passi) che sostituisce la cronologia completa. La cronologia originale viene comunque salvata nel filesystem.

Valutazione delle strategie

Per valutare l'efficacia delle strategie di compressione, Deep Agents suggerisce di:

  • Partire da benchmark reali e poi stressare le singole funzionalità.
  • Testare la capacità di recupero delle informazioni compresse.
  • Monitorare la perdita dell'obiettivo da parte dell'agente.

L'SDK include valutazioni mirate per isolare e validare i meccanismi di gestione del contesto, verificando ad esempio che l'agente mantenga il suo obiettivo dopo la summarization e che sia in grado di recuperare informazioni precedentemente compresse tramite la ricerca nel filesystem. Queste valutazioni fungono da test di integrazione, riducendo i tempi di iterazione e facilitando l'attribuzione dei fallimenti a meccanismi di compressione specifici.