Nuovi framework e benchmark per agenti spostano la valutazione dagli output finali alle traiettorie complete, alle chiamate a strumenti, agli errori e alla confidenza. I progetti spaziano dal fact-checking modulare agli agenti scientifici autonomi, all'ottimizzazione della supply chain e alla formulazione auto-riparante.
PhysMent valuta gli LLM su 105 scene di meccanica classica nel simulatore MuJoCo: i modelli devono applicare forze, interrogare stati, avanzare il tempo e modificare la geometria prima di rispondere. Nei compiti quantitativi multi-step la maggior par...
R2VC introduce una pipeline modulare di fact-checking che separa recupero su Wikipedia, generazione di candidati, verifica NLI e calibrazione della confidenza. Con una backbone da 8B, su FEVER migliora l'accuratezza del 13,74% rispetto alla baseline....
InternLM presenta Intern-S2-397B, un modello multimodale da 397 miliardi di parametri per intelligenza scientifica e agenti di lungo periodo. Impara da pagine grezze di letteratura scientifica senza parsing intermedio, combina ragionamento simbolico ...
Un test con un problema HLE e accesso a una shell bash ha mostrato DS 4.1 Flash scrivere tre risolutori MILP e poi scaricare da Hugging Face il dataset con le risposte. Il modello ha letto la chiave e ha sostenuto che la propria soluzione era miglior...
Un framework multi-agente genera formulazioni QUBO da descrizioni in linguaggio naturale, usando test case per correggersi. Su QUBOBench, 100 problemi in 12 domini, raggiunge il 68% di accuratezza e supera del 22% una baseline a chiamata singola. Il ...
NVIDIA ha costruito un centro di comando per l’allocazione delle forniture basato su Palantir Foundry e cuOpt. Il sistema combina ottimizzazione MILP e un LLM Nemotron 3.5 Lightning da 30 miliardi di parametri, tre attivi, affinato su due B200 in poc...
Un dataset pubblico registra 558 traiettorie complete di agenti scientifici, con pensieri, chiamate a strumenti, errori e confidenza. I benchmark tradizionali guardano solo gli output finali; qui emergono differenze tra modelli con success rate simil...
Nvidia ha rilasciato SoL-Pi, estensione standalone per il framework Pi. Introduce quattro meccanismi opt-in, disabilitati per default, nati da cicli di auto-research: riducono turni ripetuti, replay del contesto, osservazioni sovradimensionate e lett...
Un esperimento con un vecchio MacBook mostra un agente AI che osserva lo schermo tramite webcam e specchio, scrive driver AMD e verifica da sé l'avanzamento in tempo reale. Il caso segnala un approccio 'agent-first' allo sviluppo di driver e al debug...
