Debugging degli agenti è notoriamente complesso. Le tracce possono estendersi per centinaia di passaggi, i prompt comprendere migliaia di righe e l'origine di un problema può essere difficile da individuare.

Polly: L'Assistente AI per il Debug

Polly è un assistente AI progettato per semplificare questo processo. È in grado di analizzare tracce complesse, individuare i punti critici e fornire indicazioni precise sulla causa degli errori. Polly è ora disponibile per tutti gli utenti di LangSmith.

Novità

In precedenza, Polly era accessibile solo in alcune sezioni di LangSmith. Ora è integrato in tutte le pagine e i flussi di lavoro, inclusi progetti, esecuzioni, thread, esperimenti, dataset, code di annotazione e valutatori.

Polly mantiene la memoria della conversazione, consentendo di passare da un'attività all'altra senza perdere il contesto. Inoltre, può intraprendere azioni concrete, come aggiornare i prompt, creare dataset da esecuzioni fallite, filtrare la visualizzazione dei progetti, sviluppare codice di valutazione e confrontare esperimenti.

Funzionalità Chiave

  • Analisi dei Thread: Polly può analizzare intere conversazioni tra utenti e agenti, fornendo informazioni sul sentiment dell'utente, i problemi riscontrati e la risoluzione dei problemi.
  • Sviluppo di Valutatori: Polly aiuta a sviluppare e migliorare la logica dei valutatori, generando codice per la verifica di allucinazioni e la gestione di casi limite.
  • Analisi dei Risultati degli Esperimenti: Polly può confrontare i risultati di diversi esperimenti, fornendo raccomandazioni basate sui dati reali.

Come Iniziare

Polly è accessibile tramite la combinazione di tasti Cmd+I (Mac) o Ctrl+I (Windows/Linux) in qualsiasi pagina di LangSmith. Per iniziare a utilizzare Polly, è necessario aggiungere una chiave API per il proprio fornitore di modelli come segreto dello spazio di lavoro.