Non tutte le annotazioni automatiche sono uguali. Lo dimostra un’analisi su larga scala di titoli giornalistici francesi, dove un pipeline a tre LLM ha messo in luce un profilo di affidabilità a due velocità: solido quando si tratta di individuare frame strutturali come il conflitto o il calcolo strategico, molto più incerto sui costrutti che implicano un giudizio morale.

Il team ha esaminato 28.592 titoli pubblicati da 25 testate tra il 2022 e il 2025, concentrandosi su come venissero rappresentati La France insoumise e Rassemblement National. L’annotazione è stata affidata a tre modelli linguistici, con validazione umana stratificata su un campione. Il risultato chiave non è un’asimmetria di valenza tra destra e sinistra populista – cioè chi riceva un trattamento più negativo – bensì un’asimmetria di ruolo: i titoli su LFI adottano più spesso un registro di conflitto, quelli su RN un registro strategico-elettorale. Questa differenza resiste ai test statistici, alle permutazioni e alla maggior parte delle finestre temporali.

Ma è il diverso grado di affidabilità tra i tipi di frame a costituire il nocciolo pratico dello studio. Le categorie “conflict framing” e “strategic-game framing” hanno ottenuto la migliore validazione umana e stabilità cross-modello. Il ruolo di attore (chi è aggressore, chi vittima) si è rivelato stabile in direzione ma con una concordanza inferiore con i revisori, e perciò gli autori lo considerano elemento corroborante anziché primario. Infine, i costrutti normativi – legittimazione, attribuzione di colpa, vittimizzazione – sono risultati instabili e fortemente influenzati dalla linea editoriale della singola testata. In pratica, la pipeline converge quando deve descrivere un meccanismo politico, diverge quando deve esprimere un giudizio morale.

Per chi sviluppa o gestisce strumenti di annotazione in-house, questo è un dato da non archiviare come curiosità accademica. Le pipeline LLM vengono sempre più utilizzate per classificare documenti legali, analizzare feed di intelligence, monitorare la compliance interna o vagliare grandi moli di testo a fini di risk management. In tutti questi scenari, la tentazione è trattare le annotazioni come output oggettivi. Lo studio ricorda invece che la distinzione tra “frame riconoscibili” e “giudizi latenti” è tecnica prima ancora che politica: il modello può accorgersi che un testo sta descrivendo un conflitto, ma non è in grado di stabilire con affidabilità chi sia nel giusto.

Costruire un pipeline che tenga conto di questa stratificazione significa, in concreto, separare le task in due tier: uno ad alta affidabilità per estrarre indicatori descrittivi (ad esempio, presenza di linguaggio aggressivo o di calcoli strategici), e uno a bassa affidabilità dove l’intervento umano o regole deterministiche riducono il margine di errore. Non è un dettaglio: quando i dati risiedono su infrastrutture locali per vincoli di sovranità o riservatezza, la possibilità di fare auditing stratificato diventa un requisito operativo. Conoscere in anticipo cosa il modello può fare bene e cosa no permette di allocare risorse di revisione solo dove servono, contenendo il TCO e mantenendo la governance sui dati.

Il framework proposto dagli autori – una validazione basata sui costrutti anziché su un unico indice di accuratezza – è trasferibile a qualsiasi contesto in cui le annotazioni automatiche debbano essere interpretate da decisori umani. Per chi valuta deployment on-premise di LLM, il principio è immediato: la qualità di una pipeline si misura non solo sul dato aggregato, ma sulla mappa dei suoi punti di forza e fragilità, costrutto per costrutto.