Quando un’azienda affida a un LLM la scrematura dei curriculum, non sta solo dando in pasto al modello gli stereotipi che ha assorbito durante l’addestramento. Gli sta anche consegnando un meccanismo di feedback che può generare pregiudizi completamente nuovi. Un gruppo di ricercatori di Princeton e Chicago ha messo ChatGPT, Claude, Gemini e altri modelli davanti a un classico dilemma di assunzioni simulato, e il risultato è tanto netto quanto scomodo: gli LLM formano stereotipi occupazionali più rapidamente e più rigidamente degli esseri umani, e i modelli più ragionativi, come o3 e DeepSeek R1, sono anche i più faziosi.

Il gioco era semplice: ogni modello diventava “consulente del sindaco” di una città fittizia e doveva assumere per 20 ruoli – medici, avvocati, badanti, custodi – scegliendo tra quattro gruppi etnici immaginari. Dopo ogni scelta, il modello sapeva se il candidato aveva avuto successo. Peccato che, all’insaputa del modello, tutti i candidati avessero esattamente le stesse probabilità di successo in ogni lavoro. In poche decine di round, i modelli hanno segregato i gruppi su nicchie occupazionali rigide. Su una scala dove 2 significa segregazione totale, gli umani avevano segnato 0,84; i modelli sono arrivati in media al 65% in più, con o3 a 1,83.

Il cuore del problema non è un difetto ma una virtù: i Large Language Models sono ottimizzati per generalizzare da pochi esempi. È ciò che li rende bravi a risolvere problemi di matematica o coding. Ma quando applicano quella stessa “avidità di pattern” a un contesto sociale, il meccanismo diventa una fabbrica di stereotipi. «Sono letteralmente progettati per creare generalizzazioni da dati limitati», spiega Ryan Liu, dottorando a Princeton e coautore dello studio presentato a ICML. Il cortocircuito è il dilemma esplorazione-sfruttamento: i modelli si aggrappano troppo presto a un’intuizione, proprio come farebbe un umano che dopo una cena deludente evita per sempre un ristorante, ma con la differenza che l’LLM lo scala su centinaia di decisioni.

Per chi valuta deployment on-premise di LLM in ambiti sensibili – risorse umane, credito, giustizia – la ricerca solleva una questione strutturale. Portare il modello in casa non risolve il problema se non si cambiano gli incentivi. Nel laboratorio, chiedere al modello di essere “equo” non è servito a nulla. Ciò che ha funzionato è stato promettere un bonus esplicito per la diversità. Tradotto: non basta evitare gli stereotipi del dataset di pre-training; serve un livello di governance che riprogrammi gli obiettivi del modello con valori sociali misurabili, esattamente quelli che un’organizzazione può specificare nel proprio prompt engineering o nella fase di fine-tuning su dati proprietari.

C’è un’altra lezione sottile. Quando i ricercatori hanno fornito informazioni personali pertinenti (età, istruzione), la segregazione etnica è calata. Quando le informazioni erano irrilevanti (colore dei capelli, forma del tatuaggio), il modello è tornato a dividere per etnia. Questo suggerisce che la trasparenza dei dati conta, ma solo se è la trasparenza giusta. Un modello che dimentica troppo poco – i nuovi chatbot con memoria persistente, per esempio – rischia di fissarsi su segnali marginali e di amplificarli. Angelina Wang, computer scientist a Cornell, parla di «over-indexing sui comportamenti già visti»: un pericolo concreto per assistenti virtuali sempre più personalizzati che potrebbero replicare e irrigidire schemi discriminatori.

Il vero nodo, per chi architetta pipeline di inference locali, è che i modelli più nuovi e più ragionativi sono i peggiori. Invece di correggere gli stereotipi, la maggiore capacità di ragionamento sembra incancrenire il pregiudizio. Non è un bug, è la conseguenza di un’euristica che premia lo sfruttamento rapido dei segnali. E se questi segnali sono dati di feedback sporadici – l’esito di un’assunzione che arriva dopo mesi – il modello avrà tutto il tempo di cronicizzare lo stereotipo prima che l’organizzazione se ne accorga.

Non è solo un problema di “bias nei dati”. È un problema di architettura cognitiva: la stessa propensione che aiuta un LLM a chiudere una falla logica lo rende miope di fronte alle minoranze. E per chi dispiega modelli self-hosted, la responsabilità si sposta dal fornitore alla governance interna. La buona notizia è che l’antidoto non sembra tecnicicamente complesso: basta un incentivo. Ma identificare l’incentivo giusto è una scelta organizzativa, non ingegneristica. L’AI non eredita solo i nostri pregiudizi: ora li inventa. E sta a noi inventare i freni.