Benchmark eseguibili, audit decisionali e framework come GA-GRPO stanno mostrando come i punteggi statici possano nascondere errori di ragionamento, bias da guida esterna e rischi di allucinazione. I confronti RAG e agentici mostrano che superare un benchmark non garantisce un comportamento robusto nel mondo reale.
Il framework GA-GRPO formalizza la guida esterna nel fine-tuning di LLM reasoning come un operatore che introduce bias misurabile in base alla divergenza tra guida e policy. La teoria mostra che il bias è inevitabile e cresce nel tempo, ma il peso ot...
Un nuovo framework, GA-GRPO, unifica i metodi di guida esterna per il ragionamento LLM, ne delimita il bias e mostra che il peso ottimale riduce le GPU-ore del 31%. Il bias cresce con la divergenza tra guida e policy, e il peso ideale cala con l'avan...
Al Heidelberg Laureate Forum, l’annuncio di OpenAI sul problema di Navier–Stokes ha acceso il dibattito. I colossi dell’AI usano la matematica come benchmark, ma la comunità accademica denuncia pressioni, costi e una verifica che si sposta fuori dal ...
Un benchmark eseguibile per gli scacchi cinesi mostra che gli agenti LLM possono indicare la mossa giusta e perdere comunque. Su 119 finali tattici, 8.568 traiettorie multi-turno e 12 LLM frontier, il successo a ciclo chiuso crolla rispetto alle valu...
Una valutazione paired su 11 punti decisionali per agenti LLM mostra che il modello ospitato Jev supera quello open-weight Laya su 9 compiti, ma nessuno batte il caso nel routing zero-shot. L’audit della pipeline rivela errori che trasformano un risp...
Un test su Ollama con modelli da 1,5B a 120B mostra che l'entropia di matching esatto su CPU può rilevare allucinazioni senza occupare VRAM. Su Qwen 27B l'AUROC raggiunge 0,89, su Mistral 7B pareggia DeBERTa. Ma il crollo a 0,09 sul 120B segnala un C...
I world model osservazionali non bastano agli agenti LLM modulari: una sequenza non dice se il pagamento autorizza la spedizione o se un fattore nascosto spiega entrambi. Il framework FedCausalCompose mostra che l'errore interventistico si riduce con...
Un audit mostra che gli agenti LLM concentrano i retrieval su un nucleo ristretto e lasciano gli stati rari in una coda lunga, dove gli errori di previsione si accumulano. Il controller CTWM assegna il budget del prompt con un solo esponente e riduce...
Un benchmark su 824 domande multi-hop di FRAMES mette a confronto 18 pipeline RAG e un loop agentico. La migliore pipeline arriva al 78,9%, l’agente al 92,7%. Il dato più scomodo riguarda il reranking: un modello piccolo fa perdere 9 punti di accurat...
