LangSmith ha rilasciato una Command Line Interface (CLI) e un set iniziale di 'skills' progettate per fornire agli agenti di sviluppo AI competenze specifiche nell'ecosistema LangSmith. Queste skills mirano a semplificare l'aggiunta di tracing agli agenti, la comprensione della loro esecuzione, la creazione di set di test e la valutazione delle performance.

La LangSmith CLI

La LangSmith CLI è progettata per essere nativa per gli agenti, offrendo blocchi di costruzione necessari per operare all'interno di LangSmith. Ciò include il recupero di tracce, la gestione di dataset e l'esecuzione di esperimenti. Combinata con le skills, la CLI permette agli agenti di navigare LangSmith tramite terminale, accelerando lo sviluppo degli agenti stessi.

Cosa sono le Skills?

Le skills sono istruzioni, script e risorse che migliorano le performance degli agenti in domini specializzati. Vengono caricate dinamicamente, recuperando una skill solo quando rilevante per il task in questione. Questo approccio evita il degrado delle performance che si verifica quando si forniscono troppi strumenti a un agente.

Skills di LangSmith

Il repository langsmith-skills contiene tre skills principali:

  • trace: aggiunge tracing al codice esistente ed esegue query sulle tracce.
  • dataset: crea dataset di esempi.
  • evaluator: valuta gli agenti sui dataset.

Queste skills coprono le aree principali dell'AI engineering in LangSmith. L'azienda prevede di aggiungere ulteriori skills nel tempo.

Impatto delle Skills

L'utilizzo delle skills ha portato a miglioramenti significativi nelle performance di Claude Code su task di base in LangSmith. Ad esempio, il tasso di successo è passato dal 17% al 92% nei test specifici.

Installazione

Le skills possono essere installate tramite npx skills:

Locale (progetto corrente):

npx skills add langchain-ai/langsmith-skills --skill '*' --yes

Globale (tutti i progetti):

npx skills add langchain-ai/langsmith-skills --skill '*' --yes --global

Per collegare le skills a un agente specifico (es. Claude Code):

npx skills add langchain-ai/langsmith-skills --agent claude-code --skill '*' --yes --global

Per chi valuta deployment on-premise, esistono trade-off da considerare. AI-RADAR offre framework analitici su /llm-onpremise per valutare questi aspetti.