I benchmark statici vengono messi in discussione da task eseguibili, traiettorie multi-turno e audit comparativi che espongono il divario tra punteggi e prestazioni reali. La discussione si sta spostando verso una valutazione più realistica di ragionamento, modelli decisionali e risultati matematici.
Quattro modelli decisionali open testati su una RTX 4090 in affitto: Laya, d1, Clef-Flash e Lev hanno letto 9.534 parole e segnalato nomi di centopiedi. Laya è il più veloce con 3,9 ms per parola su llama.cpp, Lev il più accurato sul target ma circa ...
Al Heidelberg Laureate Forum, l’annuncio di OpenAI sul problema di Navier–Stokes ha acceso il dibattito. I colossi dell’AI usano la matematica come benchmark, ma la comunità accademica denuncia pressioni, costi e una verifica che si sposta fuori dal ...
Un benchmark eseguibile per gli scacchi cinesi mostra che gli agenti LLM possono indicare la mossa giusta e perdere comunque. Su 119 finali tattici, 8.568 traiettorie multi-turno e 12 LLM frontier, il successo a ciclo chiuso crolla rispetto alle valu...
Una valutazione paired su 11 punti decisionali per agenti LLM mostra che il modello ospitato Jev supera quello open-weight Laya su 9 compiti, ma nessuno batte il caso nel routing zero-shot. L’audit della pipeline rivela errori che trasformano un risp...
