La Financial Conduct Authority britannica sta mettendo sul tavolo una domanda scomoda per l'industria tech: i Large Language Models vanno regolamentati in modo diretto? Sheldon Mills, executive director dell'authority, ha dichiarato che l'attuale framework normativo dovrà evolversi man mano che strumenti come ChatGPT, Claude e Gemini iniziano a influenzare le scelte finanziarie dei consumatori.

Non si tratta di un intervento isolato. L'Unione Europea ha già tracciato la rotta con l'AI Act, mentre negli Stati Uniti le agenzie federali stanno esplorando obblighi di trasparenza per gli algoritmi. Il punto sollevato da Mills, però, ha un peso specifico: non riguarda un prodotto software tradizionale, ma modelli statistici opachi il cui comportamento emerge da miliardi di parametri e dati di addestramento non sempre noti.

Audit e responsabilità: il nodo per chi fa deployment

Per chi gestisce LLM in-house, la questione regolatoria tocca nervi scoperti. Quando un modello produce un output che influenza una decisione di credito, un investimento o una polizza assicurativa, chi risponde? Il fornitore del modello base, l'azienda che l'ha messo in produzione con un fine-tuning, oppure il team che ha scritto i prompt? In un contesto cloud, la catena di responsabilità si sfilaccia: i log sono distribuiti, l'accesso ai pesi è indiretto e spesso manca una pista di controllo indipendente.

Il deployment on-premise – o in ambienti ibridi con controllo rigoroso – introduce un livello di auditabilità che il cloud pubblico non sempre garantisce. Non è una formula magica, ma permette di sapere esattamente dove risiedono i dati, come vengono processati i prompt e chi ha accesso ai modelli. In settori regolati come la finanza, questa tracciabilità sta diventando un requisito, non un lusso.

Oltre il cloud: sovranità e costo totale

La discussione aperta dall'FCA si inserisce in un ripensamento più ampio dei costi di conformità. Spostare un LLM on-premise ha un costo iniziale: hardware specializzato, GPU con ampia VRAM, pipeline di serving e manutenzione. Ma quando le sanzioni per violazione della privacy o la perdita di controllo sui dati possono superare il risparmio di un'API cloud, il calcolo del TCO cambia radicalmente. E non si parla solo di rischio: la possibilità di eseguire inference senza inviare dati sensibili a terze parti è un vantaggio competitivo nelle relazioni con i clienti.

Naturalmente, la regolamentazione diretta degli LLM non richiede di per sé l'on-premise. Ma rende più difficile accontentarsi di soluzioni black-box, dove il modello è un servizio remoto e il rispetto delle norme si basa su fiducia contrattuale. Mills non ha proposto norme specifiche, ma il suo intervento segnala che i regolatori stanno iniziando a guardare dentro la scatola nera.