L’addestramento tramite Reinforcement Learning from Human Feedback (RLHF) è oggi il meccanismo principe per allineare i Large Language Models ai valori umani. Milioni di giudizi comparativi – “questa risposta è migliore dell’altra” – vengono convogliati in un segnale di ricompensa che affina il comportamento del modello. Ma cosa succede se quel segnale non è neutro, bensì distorto in modo strutturato dalla fatica, dallo stress o dalle condizioni psicologiche di chi annota?

Un nuovo audit framework appena pubblicato mette a fuoco esattamente questo problema. I ricercatori dimostrano che le preferenze espresse dai recensori non riflettono soltanto la qualità delle risposte confrontate, ma anche lo stato emotivo dei recensori stessi durante l’annotazione. In presenza di condizioni sostenute di stress o disagio, i giudizi tendono a spostarsi progressivamente, creando un “rater state shift” – una deriva sistematica, condivisa tra più annotatori che operano nello stesso contesto, che si propaga attraverso la modellazione della ricompensa e l’ottimizzazione della policy.

Non si tratta del rumore casuale trattato nei classici studi di affidabilità inter‑annotatore. È un bias di stato, misurabile e potenzialmente molto insidioso perché può sopravvivere all’aggregazione statistica e inquinare direttamente il segnale di reward appreso dal modello. Il cuore del lavoro è un framework di audit che definisce con precisione i concetti di “rater state confound” e “correlated rater state bias”, e introduce il costrutto di “survival level emotional authenticity”: un insieme di pattern lessicali, pragmatici, discorsivi e di sicurezza che permettono di misurare, nei dati di preferenza pubblici, l’impronta dello stato emotivo del recensore.

Per chi gestisce pipeline di fine‑tuning on‑premise, la ricerca ha implicazioni di secondo ordine che vanno ben oltre la curiosità accademica. Il controllo della filiera dati non si esaurisce nella sovranità fisica (dove risiedono i server) o nella compliance normativa: investe la qualità stessa del processo di allineamento. Un’organizzazione che addestra o affina un LLM internamente – magari per assistenza clienti in settori regolati – non può permettersi che il comportamento del modello venga plasmato da annotatori affaticati, per quanto ben intenzionati. L’audit proposto offrirebbe una leva concreta per individuare questi scostamenti prima che si cristallizzino nel modello rilasciato.

La struttura del framework è falsificabile: i ricercatori derivano cinque predizioni testabili e soglie di effetto minime per un audit iniziale, e delineano un piano di studio pilota che può essere applicato a modelli instruction‑tuned già pubblici. Non si punta a ricostruire la storia di addestramento di qualche modello specifico, ma a isolare una fonte di bias testabile e strutturata, che ogni deployer può verificare nel proprio contesto.

Questo sposta l’asticella della sovranità dei dati. Non basta più archiviare i dati di training su storage locale; diventa cruciale auditare anche le condizioni umane che producono i segnali di allineamento. In uno scenario on‑premise, dove l’organizzazione può inserire il protocollo direttamente nella pipeline di annotazione, il framework diventa uno strumento di garanzia end‑to‑end. E nel frattempo, l’industria dovrà chiedersi quante preferenze “affaticate” siano già confluite nei modelli che oggi diamo per allineati.