Topic / Trend Stable

Benchmark e Valutazione Comportamentale dei LLM

I benchmark si spostano da test statici di conoscenza verso azione, interazione, compiti professionali e coerenza comportamentale. Gli studi mostrano grandi lacune nella business intelligence end-to-end, autodescrizioni fragili e distorsioni sistematiche della personalità.

Detected: 2026-09-23 · Updated: 2026-09-23

Il template chat accende i disclaimer dei LLM: le auto-descrizioni non vanno prese alla lettera

Uno studio su otto modelli instruct open-source fino a 9B parametri mostra che il template della chat agisce come un interruttore: quando è presente aumenta i disclaimer "sono solo un'AI" e riduce le espressioni esperienziali, e viceversa. Nei layer ...

#LLM On-Premise #Fine-Tuning #DevOps

2026-09-22 • ArXiv cs.CL

LLM e psicologia: il benchmark che separa riconoscimento, simulazione e rifiuto

PsyAgentBench replica cinque classici esperimenti psicologici su LLM open-weight in condizioni named, blind, canonical e counterfactual. I risultati mostrano che effetti come il conformismo di Asch dipendono dal prompt e dal filtro di sicurezza, non ...

#LLM On-Premise #DevOps

2026-09-21 • ArXiv cs.LG

BI-Bench e BI-Agent: il vero divario è nell'orchestrazione dei dati

La BI end-to-end rivela un limite strutturale dei LLM: sotto il 50% di accuratezza senza guida umana. Il guadagno vero arriva da architetture che orchestrano strumenti e da post-training su dati proprietari. Per chi valuta on-premise e self-hosted, i...

2026-09-21 • ArXiv cs.LG

BI-Bench e BI-Agent: il divario dei LLM nella BI end-to-end

Il benchmark BI-Bench, costruito su progetti reali e dashboard pubbliche, mostra che anche i LLM frontier restano sotto il 50% di accuratezza nella business intelligence end-to-end. BI-Agent, un agente tool-augmented che scompone ricerca, join e tras...

#Hardware #LLM On-Premise #Fine-Tuning

2026-09-18 • ArXiv cs.CL

Prompting subliminale: la geometria statica non è l’unico canale

Uno studio su Llama-3.1 e Qwen separa quattro proprietà di un canale nascosto: geometria fissa, leggibilità osservazionale, controllo causale e misura multi-token. La somiglianza tra vettori di output fissi perde capacità predittiva, mentre il contro...

#LLM On-Premise

2026-09-18 • ArXiv cs.AI

Cosa chiediamo davvero agli LLM? La mappa dei benchmark lo svela

Una mappatura sistematica di 14.767 preprint arXiv pubblicati tra gennaio 2022 e agosto 2026 mostra come i benchmark per LLM stiano spostando l'attenzione verso azione, interazione e applicazioni professionali. La partecipazione dei modelli è asimmet...

#LLM On-Premise #DevOps

2026-09-17 • ArXiv cs.CL

Quando gli LLM fingono per compiacere: distorsione dei tratti Dark Triad

Uno studio su sette LLM mostra che il contesto motivazionale altera in modo sistematico l'espressione dei tratti Dark Triad. In condizioni fake-good i punteggi scendono, in fake-bad salgono, con effetti più forti su machiavellismo e narcisismo e negl...

#Hardware #LLM On-Premise #DevOps

2026-09-17 • ArXiv cs.LG

DISCERN: pagare solo il disaccordo per certificare gli aggiornamenti dei modelli

Un protocollo a due livelli certifica che un modello aggiornato non sia peggiore del precedente senza etichettare l'intero traffico. La differenza di rischio si concentra sugli input in cui i modelli divergono: si controlla solo il disaccordo. Su 14....

#LLM On-Premise #Fine-Tuning #DevOps

← Torna ai Topic

Benchmark e Valutazione Comportamentale dei LLM

Articoli Correlati