Valutazione e ottimizzazione di assistenti AI per lo shopping

Un recente studio pubblicato su arXiv propone un modello per la valutazione e l'ottimizzazione continua degli assistenti AI conversazionali (CSA), con un focus specifico sullo shopping di generi alimentari. Questi sistemi, basati su agenti multipli, presentano sfide uniche in termini di valutazione delle interazioni complesse e ottimizzazione delle performance.

La ricerca introduce una rubrica di valutazione multi-dimensionale che analizza la qualità dello shopping end-to-end, scomponendola in dimensioni strutturate. Viene inoltre sviluppato un sistema di valutazione basato su LLM, calibrato con annotazioni umane, per automatizzare e scalare il processo di valutazione.

Strategie di ottimizzazione dei prompt

Lo studio esplora due strategie complementari per l'ottimizzazione dei prompt, basate su un ottimizzatore all'avanguardia chiamato GEPA: Sub-agent GEPA, che ottimizza i singoli agenti rispetto a rubriche localizzate, e MAMuT (Multi-Agent Multi-Turn) GEPA, un approccio a livello di sistema che ottimizza congiuntamente i prompt tra gli agenti utilizzando la simulazione multi-turn e la valutazione a livello di traiettoria.

I modelli e le linee guida di valutazione sono stati rilasciati per supportare i tecnici nello sviluppo di CSA di produzione. Per chi valuta deployment on-premise, esistono trade-off da considerare attentamente; AI-RADAR offre framework analitici su /llm-onpremise per supportare queste valutazioni.