Il fine-tuning sui benchmark di coding più diffusi non si trasferisce a suite di sviluppo più ampie, e il fuzzing avversariale o i domini specialistici rivelano una generalizzazione fragile nei LLM e nei MLLM. La community si sta orientando verso valutazioni esecutive e basate sulle azioni per evitare l'overfitting sui benchmark.
Il fine-tuning su SWE-bench non trasferisce capacità a suite come Django o LiveCodeBench. Il benchmark diventa obiettivo di addestramento e smette di misurare capacità generale. Per chi gestisce LLM self-hosted, un punteggio gonfiato falsa il calcolo...
Ottimizzare un LLM sui benchmark di coding più diffusi non ne migliora la capacità generale di programmazione. Una nuova suite basata su Django mostra che i ranking non si generalizzano e che il fine-tuning su SWE-bench produce guadagni limitati o nu...
Uno studio controllato a sei condizioni smonta un'assunzione diffusa: il valore dell'auto-riflessione nei LLM non arriva da domande diagnostiche o vocabolari di incertezza, ma dal routing tipizzato delle azioni. I dati mostrano guadagni consistenti e...
Backtrader-Bench introduce due pipeline per valutare agenti LLM nel trading algoritmico: una genera quesiti a risposta multipla da configurazioni di backtest con verifica indipendente, l'altra estrae domande più difficili che richiedono esecuzione di...
Un benchmark dedicato mette alla prova 33 Large Language Model su compiti di gestione dei rifiuti solidi. Il migliore sfiora il 95% di accuratezza nelle domande semplici, ma in quelle complesse la media crolla al 42,5%. Calcolo, progettazione sperime...
Un nuovo framework di valutazione combina un benchmark a tassonomia unificata con un fuzzing multi-modale auto-adattivo (SAMF) e mostra che i migliori MLLM degradano sotto stress, rivelando uno scollamento tra ragionamento e ancoraggio ai fatti. L’al...
