CogCanvas: Un nuovo approccio alla memoria nei LLM

I modelli linguistici di grandi dimensioni (LLM) faticano a mantenere un'alta fedeltà delle informazioni in conversazioni lunghe, a causa dei limiti della finestra di contesto. Le tecniche esistenti, come il troncamento o la sintesi, spesso sacrificano dettagli importanti.

CogCanvas si propone come soluzione a questo problema. Questo framework, che non richiede ulteriore addestramento, estrae artefatti cognitivi (decisioni, fatti, promemoria) dai vari turni di conversazione e li organizza in un grafo temporale per un recupero più efficace.

Performance e vantaggi

Nei test sul benchmark LoCoMo, CogCanvas ha raggiunto un'accuratezza complessiva del 34.7%, superando RAG (25.6%) e GraphRAG (13.7%). Il miglioramento è particolarmente evidente nel ragionamento temporale, con un +530% rispetto a RAG e GraphRAG. Anche nel ragionamento causale multi-hop, CogCanvas ha mostrato risultati superiori, con un tasso di successo dell'81.0% contro il 40.0% di GraphRAG.

Inoltre, CogCanvas ha dimostrato un elevato tasso di recall (97.5%) e di corrispondenza esatta (93.0%) nei benchmark controllati, evidenziando la sua capacità di preservare le informazioni chiave.

Implicazioni

Sebbene esistano approcci altamente ottimizzati che raggiungono punteggi assoluti più elevati tramite addestramento dedicato, CogCanvas offre un'alternativa immediatamente utilizzabile che supera significativamente le baseline standard. Il codice e i dati sono disponibili su GitHub.