Topic / Trend Rising

Trasparenza della chain-of-thought e valutazione degli LLM

Il fine-tuning sugli stili di ragionamento può rendere meno monitorabile la chain-of-thought, mentre nuovi audit e benchmark mostrano che l'accuratezza da sola non garantisce un ragionamento valido o un rilevamento affidabile delle allucinazioni.

Detected: 2026-11-19 · Updated: 2026-11-19

Articoli Correlati

2026-11-19 • ArXiv cs.AI

Quando la chain-of-thought smette di essere una prova neutrale

Il fine-tuning su stili di ragionamento può ridurre la monitorabilità della chain-of-thought senza esempi di evasione. Nei test, la metrica g-mean^2 scende da 0,94 a 0,68 e a 0,22 con istruzioni esplicite. Per chi gestisce LLM self-hosted, la CoT non...

2026-11-18 • ArXiv cs.CL

Quanto costa un rifiuto? Misurare la disaffezione degli utenti sui LLM reali

Un metodo chiamato RAW usa la stochasticità dei LLM come esperimento naturale per misurare l'effetto causale dei rifiuti sul re-engagement degli utenti, senza A/B test. Applicato a 15 modelli distribuiti su LMSYS-Chat-1M e WildChat, mostra che per ci...

#Hardware #LLM On-Premise #Fine-Tuning
2026-11-18 • ArXiv cs.AI

Quando controllare la chain-of-thought la rende più opaca ai monitor

Il fine-tuning su tracce di ragionamento riscritte con voci diverse insegna a un LLM a controllare la chain-of-thought senza esempi espliciti di evasione. Nei test con compiti nascosti la monitorabilità crolla: da 0,94 a 0,22 quando il modello riceve...

#LLM On-Premise #Fine-Tuning
2026-11-16 • ArXiv cs.CL

Oltre il punteggio: mappare i processi interni degli LLM

Un nuovo framework analizza i segnali interni di 16 LLM su 24 benchmark, distinguendo compiti centrati sul recupero da compiti centrati sul ragionamento. L’obiettivo è rendere visibili i modi di guasto che i punteggi aggregati nascondono e orientare ...

#LLM On-Premise #DevOps
2026-11-16 • ArXiv cs.AI

Quando i rilevatori di allucinazioni non reggono sui piccoli LLM a 4 bit

Un audit su due LLM open da 3B a 4 bit mostra che i rilevatori di allucinazioni non mantengono la classifica: il ranking si inverte tra i modelli e una baseline lessicale a basso costo è indistinguibile dai metodi di coerenza campionaria. L’etichetta...

#Hardware #LLM On-Premise #DevOps
← Torna ai Topic