Non è il solito benchmark. LongNovel parte da un’osservazione precisa: quando il contesto si allunga, la probabilità di allucinazioni in un riassunto non cresce soltanto in modo lineare, ma cambia natura. Un romanzo lungo non è una raccolta di fatti isolati come un articolo di giornale: è una rete di eventi, dialoghi e dettagli che si richiamano a distanza. È il terreno in cui i Large Language Models mostrano i limiti più subdoli, quelli che non emergono da una lettura rapida.

Il benchmark, disponibile su GitHub, usa 29 romanzi cinesi con lunghezze comprese tra 16k e 100k token e dati a livello di capitolo da BookSum. È bilingue cinese-inglese e copre otto tipologie di allucinazione. Per costruire il dataset, il team ha combinato un arbitrato tra più modelli e una generazione di allucinazioni ancorata alle entità: due scelte che puntano a evitare il rischio classico di ogni benchmark, cioè dati falsi che misurano il nulla. Il set di test è stato revisionato manualmente.

Qui c’è un punto che va oltre la ricerca accademica. Chi valuta modelli per riassumere documenti lunghi su stack self-hosted sa che il parametro critico non è soltanto la finestra contestuale dichiarata dal produttore, ma la fedeltà dell’output quando il documento è complesso. Riassumere una notizia è una cosa; affidare a un LLM la sintesi di un fascicolo legale, di una cartella clinica o di documentazione tecnica distribuita su centinaia di pagine è un’altra. In questi scenari un’allucinazione non è un difetto stilistico: può cambiare una decisione. Il costo della verifica umana entra nel TCO reale, spesso più alto del risparmio ottenuto con un servizio cloud generico.

LongNovel non misura la velocità di inference né i token al secondo che un sistema può produrre. Non è un benchmark hardware. Ma il suo valore per i deployment on-premise sta proprio qui: separa la qualità della valutazione dalla corsa alle specifiche. Un cluster locale può avere GPU con molta VRAM e sostenere contesti molto lunghi; se il modello attribuisce un evento al personaggio sbagliato, la potenza di calcolo non basta. Il problema non è throughput, è controllo.

L’impostazione multiscala mette in discussione anche le metriche più diffuse. Molte valutazioni di sintesi usano punteggi di similarità automatica che premiano la fluidità del testo, ma non verificano la coerenza con le entità del documento originale. In LongNovel, il riferimento alle entità durante la generazione delle allucinazioni sposta l’attenzione su un livello più fine: non «il riassunto è leggibile», ma «il riassunto è fedele». Per chi deve documentare conformità o qualità prima di portare un sistema in produzione, questo è un criterio operativo, non una curiosità accademica.

Restano limiti evidenti: il benchmark copre romanzi, non contratti o report aziendali; la base cinese e i dati BookSum non dicono nulla sul comportamento in altre lingue. Ma il progetto indica una direzione precisa: la valutazione delle allucinazioni sta diventando un problema di ingegneria dei dati, con test set curati e categorie esplicite, non più una percentuale generica da scheda tecnica. Per chi valuta questi trade-off, AI-RADAR raccoglie framework analitici su /llm-onpremise, non per indicare una scelta ma per rendere espliciti i vincoli.