Immaginate di addestrare un modello per diagnosticare patologie rare. Vi fidate ciecamente delle etichette nel vostro dataset, le cosiddette «ground truth», come se fossero misure oggettive arrivate dritte dalla realtà. Sbagliato, secondo un corposo position paper appena diffuso: ogni ground truth è costruita, non trovata. È l'esito visibile di una rete di decisioni umane, strumenti tecnicici, accordi semantici e scelte di campionamento che raramente vengono dichiarati.

L'argomento centrale è che i dati di riferimento non sono universali ma contingenti. Cambiano a seconda di chi annota, con quali strumenti, in quale lingua, per quale scopo. La comunità del machine learning, sostengono gli autori, guadagnerebbe molto a smettere di trattare i ground truth come fatti indiscutibili e a discuterne apertamente i presupposti. Sarebbe il primo passo verso quella che chiamano «affidabilità situata»: non un modello genericamente preciso, ma uno di cui conosciamo i limiti, sappiamo per quali contesti è stato tarato e dove invece potrebbe fallire.

Perché il self-hosted sposta il baricentro

L'idea non è nuova per chi lavora nel campo della sociologia della scienza, ma diventa dirompente se applicata al panorama attuale dei Large Language Model. Le aziende che valutano deployment on-premise spesso lo fanno per motivi di privacy o sovranità dei dati. Ma c'è un motivo altrettanto valido – e meno discusso – che riguarda proprio la natura costruita delle verità di riferimento.

Quando fate fine-tuning di un LLM su documenti aziendali, state implicitamente costruendo nuovi ground truth. Usare checkpoints pre-addestrati su dataset generalisti (pensiamo a quelli che dominano le benchmark pubbliche) significa importare le scelte di chi ha definito quelle etichette, con tutte le assunzioni culturali e operative del caso. Un modello «accurato» su un dataset americano potrebbe avere performance disastrose in uno stabilimento di Treviso, semplicemente perché la nozione di «guasto macchina» cambia, le annotazioni locali riflettono altre pratiche manutentive e gli strumenti di misura producono letture con diverse tolleranze.

L'affidabilità situata propone di rendere espliciti questi scostamenti. Invece di rincorrere un'unica metrica di accuracy, il suggerimento è documentare le condizioni di validità: chi ha etichettato i dati? Con quale guida? Quali casi sono rimasti ambigui? In quali condizioni operative il modello degrada? Per un'infrastruttura self-hosted, dove l'organizzazione controlla tutto lo stack, questa trasparenza diventa un asset strategico, non un esercizio accademico.

Chi perde e chi guadagna

La discussione ha conseguenze economiche e strutturali. I vendor di modelli «pronti all'uso» vendono pretese di universalità che il paper mina alla base. Se ogni ground truth è locale e costruita, il modello commodity che promette il 99% di accuratezza senza dire su quali test è stato misurato perde gran parte del suo fascino. Guadagnano invece le realtà – spesso imprese o centri di ricerca con competenze verticali – che costruiscono i propri circuiti di validazione, curano dataset annotati internamente e investono nella documentazione dei criteri di giudizio.

Non è una questione teorica: il framework dell'affidabilità situata potrebbe ridisegnare le aspettative nei contratti di fornitura software. Già oggi, alcune commesse industriali richiedono non solo specifiche di performance ma anche la descrizione della provenienza dei dati di test. Estendere questa richiesta al modo in cui sono state costruite le ground truth a monte è il passo successivo, e il paper offre una base argomentativa solida per farlo.

L'ultimo miglio di questa riflessione tocca la sovranità in senso ampio: la capacità di definire cosa è vero in un determinato dominio smette di essere un fatto tecnico e diventa un atto politico, organizzativo. È per questo che i team che scelgono deployment on-premise farebbero bene a non fermarsi alla sicurezza della rete o alla residenza dei dati. La prossima frontiera è il controllo della verità di addestramento: non un dato neutrale, ma una costruzione umana da governare con la stessa cura con cui si progetta un'architettura hardware.