Lo sviluppo e la valutazione degli agenti AI stanno diventando cruciali, con nuovi framework che emergono per valutare le competenze degli LLM oltre le singole metriche e per comprendere come le prestazioni degli agenti varino tra i modelli. L'attenzione è anche sull'integrazione degli agenti nei flussi di lavoro (es. coding, visualizzazione interattiva) e sulla definizione di standard aperti per le loro competenze.
Uno studio su sette modelli e tre benchmark mostra che le skill degli agenti LLM non sono universali: ciò che migliora un modello forte può degradare uno debole. Nell'86% dei fallimenti dei modelli deboli il requisito violato era già nella skill. L'a...
Un framework automatizzato mostra che su 5.000+ dialoghi simulati il tasso di successo passa dal 42,1% con exact-match all'81,3% con giudici LLM calibrati su annotazioni umane. Lo scarto di 39,2 punti supera l'effetto combinato di modello, strategia ...
La donazione di Agent Skills alla Agentic AI Foundation sposta la governance dello standard aperto per competenze e flussi di lavoro degli agenti. Con oltre 70 piattaforme integrate, la mossa ha implicazioni dirette per chi valuta deployment on-premi...
Microsoft Research ha presentato Flint-interactive, un linguaggio per creare visualizzazioni dati interattive su Flint. Sposta la logica di interazione dal codice di rendering a eventi semantici e operatori di aggiornamento gestiti da un compilatore....
Il progetto Mesa ha aggiornato il file AGENTS.md per consentire l'uso di LLM nella stesura di commenti al codice e messaggi di commit/patch, a patto che una persona li riveda e modifichi prima dell'integrazione. Una mossa che segnala un cambio di gov...
SkillEval introduce un framework di valutazione basato su profili di competenze scoperti automaticamente dagli LLM e stimati con modelli di diagnosi cognitiva. Testato su 3.811 modelli e 9.523 item, produce profili più calibrati e predittivi. Le appl...
Recursive Flint è un modello da coding con 40 miliardi di parametri e 2,5 attivi. Supera Qwen3.6-35B-A3B in TerminalBench 2.1 e SWE-bench Pro v2, con contesto da 262k token e attenzione mista 3:1. L'architettura punta a rendere gli agenti di coding a...
