I benchmark statici si stanno dimostrando insufficienti a catturare il comportamento reale degli agenti, dai giochi eseguibili di Xiangqi agli audit sul routing decisionale. I laboratori di frontiera usano anche problemi matematici difficili come nuovle banche di prova, mentre i benchmark locali di coding evidenziano la sensibilità all'ambiente.
Al Heidelberg Laureate Forum, l’annuncio di OpenAI sul problema di Navier–Stokes ha acceso il dibattito. I colossi dell’AI usano la matematica come benchmark, ma la comunità accademica denuncia pressioni, costi e una verifica che si sposta fuori dal ...
Un benchmark comunitario mostra che configurazioni locali con RTX 5090 raggiungono il 96% su task di coding, avvicinandosi al 100% di Claude Code Opus 5.5. La variabile critica non è solo il modello: con la stessa GPU e quantization identica, la harn...
Un benchmark eseguibile per gli scacchi cinesi mostra che gli agenti LLM possono indicare la mossa giusta e perdere comunque. Su 119 finali tattici, 8.568 traiettorie multi-turno e 12 LLM frontier, il successo a ciclo chiuso crolla rispetto alle valu...
Una valutazione paired su 11 punti decisionali per agenti LLM mostra che il modello ospitato Jev supera quello open-weight Laya su 9 compiti, ma nessuno batte il caso nel routing zero-shot. L’audit della pipeline rivela errori che trasformano un risp...
Il framework Survprompt converte dati clinici in vignette e chiede a LLM pre-addestrati di stimare la sopravvivenza senza fine-tuning. Su coorti multi-istituzionali, i modelli di frontiera raggiungono un cMAE competitivo con i random survival forest ...
