Topic / Trend Rising

Valutazione degli LLM e Lacune di Affidabilità

Nuovi benchmark e metriche mostrano che risposte corrette o numero di token non garantiscono ragionamento solido o fiducia degli utenti. Studi su nucleare, supporto alle crisi e re-engagement rivelano lacune di affidabilità oltre le classifiche standard.

Detected: 2026-11-22 · Updated: 2026-11-22

Articoli Correlati

2026-11-20 • ArXiv cs.CL

LLM Complexity: perché contare i token non basta a misurare la difficoltà

Un nuovo studio contesta l'idea che il numero di token generati da un LLM indichi la complessità di un problema. La metrica proposta, LLM Complexity, considera l'area delimitata superiormente dalla curva accuratezza-token e genera classifiche di diff...

#Hardware #LLM On-Premise #Fine-Tuning
2026-11-18 • ArXiv cs.CL

Quanto costa un rifiuto? Misurare la disaffezione degli utenti sui LLM reali

Un metodo chiamato RAW usa la stochasticità dei LLM come esperimento naturale per misurare l'effetto causale dei rifiuti sul re-engagement degli utenti, senza A/B test. Applicato a 15 modelli distribuiti su LMSYS-Chat-1M e WildChat, mostra che per ci...

#Hardware #LLM On-Premise #Fine-Tuning
2026-11-18 • ArXiv cs.CL

CrisisBench valuta i LLM nella consulenza di crisi senza esporre i dati reali

Una suite di valutazione per la consulenza psicologica usa conversazioni de-identificate e modelli paziente sintetici. I modelli testati restano indietro su empatia eccessiva e domande nel giro singolo, mentre la retrieval-augmented generation regist...

#Hardware #LLM On-Premise #Fine-Tuning
← Torna ai Topic