I benchmark si stanno spostando verso azione, interazione e uso professionale, evidenziando al contempo divari tra capacità dichiarate e reali. I task end-to-end come la business intelligence mostrano ancora accuratezze sotto il 50% per gli LLM frontier.
Uno studio su migliaia di trascrizioni di sessioni di tutoraggio mostra che usare il disaccordo tra più LLM per indirizzare l'attenzione degli esperti accorcia la revisione dei codebook da mesi a giorni. Tra tre metodi, la Rationale Labeling raggiung...
PsyAgentBench replica cinque classici esperimenti psicologici su LLM open-weight in condizioni named, blind, canonical e counterfactual. I risultati mostrano che effetti come il conformismo di Asch dipendono dal prompt e dal filtro di sicurezza, non ...
La pagina Hugging Face del modello XiaomiMiMo/MiMo-V2.6-Flash-RL è comparsa con pochi dettagli. Per chi pianifica deployment on-premise, questo è un promemoria: senza specifiche di VRAM, quantization, contesto e throughput, il nome non basta. Servono...
Prism-LM ha rilasciato i modelli Bonsai 2 basati su Qwen3.8, valutati con lo stesso metodo usato per il resto del confronto. Il risultato, circa 91,5% su benchmark composito, è un punto di riferimento relativo, non un dato assoluto. La scelta di usar...
I documenti di Bonsai mostrano che Ternary Bonsai 2 27B ottiene 52,8 su Terminal-Bench 2.1 e 60,8 su SWE-bench Verified, circa tre quarti del modello full-precision usato come confronto. Ma il nome del concorrente è sbagliato e il claim del 98,2% di ...
Una mappatura sistematica di 14.767 preprint arXiv pubblicati tra gennaio 2022 e agosto 2026 mostra come i benchmark per LLM stiano spostando l'attenzione verso azione, interazione e applicazioni professionali. La partecipazione dei modelli è asimmet...
