Ottimizzare gli LLM sui benchmark di coding più diffusi non trasferisce capacità generali di programmazione, e i test sulle allucinazioni a contesto lungo espongono nuovi modi di errore. Lacune nel richiamo di conoscenza offline e la curation di milioni di modelli Hugging Face rendono la valutazione una sfida centrale on-premise.
Test empirici e benchmark offline indicano che Qwen3.8-27B risponde peggio di Qwen3.6 alle domande di conoscenza fattuale senza tool esterni. Per chi usa modelli air-gapped basati solo sui pesi, il degrado è rilevante.
LongNovel è un benchmark multiscala e bilingue cinese-inglese per rilevare le allucinazioni nei riassunti di romanzi lunghi. Costruito su 29 romanzi cinesi da 16k a 100k token e dati BookSum, identifica otto tipologie di allucinazione. Il set di test...
La piattaforma Hugging Face ha superato i tre milioni di modelli pubblicati sull'Hub. Il numero include versioni quantizzate, fine-tuning e conversioni, più che modelli base distinti. Per chi gestisce stack locali, il traguardo sposta il collo di bot...
Uno studio multi-ateneo guidato da Princeton ha messo alla prova Claude Opus 4.8 su domande di ricerca originali destinate a NeurIPS 2026. Gli agenti hanno gestito l'ingegneria, ma non il giudizio e la creatività necessari per una ricerca aperta: ent...
Il fine-tuning su SWE-bench non trasferisce capacità a suite come Django o LiveCodeBench. Il benchmark diventa obiettivo di addestramento e smette di misurare capacità generale. Per chi gestisce LLM self-hosted, un punteggio gonfiato falsa il calcolo...
Ottimizzare un LLM sui benchmark di coding più diffusi non ne migliora la capacità generale di programmazione. Una nuova suite basata su Django mostra che i ranking non si generalizzano e che il fine-tuning su SWE-bench produce guadagni limitati o nu...
