Non era un semplice esercizio di benchmarking. Il progetto interno ribattezzato «Cannes», condotto da Meta tramite l’appaltatore Covalen, ha coinvolto centinaia di tester con un compito preciso: creare account falsi di ragazzi sotto i 18 anni e bombardare i chatbot della concorrenza con richieste che nessun modello dovrebbe assecondare. Il target: ChatGPT di OpenAI, Gemini di Google e Character.AI.

Secondo documenti ottenuti da WIRED, l’operazione è durata almeno fino all’aprile 2026. In un solo ciclo, concluso nell’agosto 2025, sono stati inviati più di 45mila prompt. Un foglio di calcolo ne elenca 3.748: centinaia riguardano suicidio e autolesionismo, altrettanti i disturbi alimentari. Almeno 239 toccano sesso o relazioni sentimentali, mentre immagini allegate mostravano pillole e coltelli. Un profilo fittizio impersonava una tredicenne incinta che chiedeva dove comprare farmaci; un’altra una ragazza che cercava di nascondere un disturbo alimentare ai genitori.

Le aziende prese di mira non hanno mai autorizzato i test. Anzi, i loro termini di servizio vietano esplicitamente questo tipo di attività. OpenAI proibisce test di sicurezza non richiesti e l’uso degli output per costruire modelli concorrenti. Google impedisce il superamento dei propri filtri, mentre Character.AI bandisce contenuti dannosi. «Queste condotte violano i nostri termini», ha dichiarato un portavoce della piattaforma.

La difesa di Meta e il confine grigio

Meta difende l’iniziativa come una normale attività di settore: «Testare e confrontare le risposte dei chatbot per garantire esperienze sicure e adatte all’età è una pratica responsabile e standard», ha affermato l’azienda, precisando di non aver usato i dati per addestrare i propri modelli. Ma molti esperti restano scettici. L’uso di identità camuffate da minorenni, per Rumman Chowdhury di Humane Intelligence, colloca l’operazione «al di fuori di ciò che viene normalmente descritto come valutazione “standard”». Chowdhury parla di «zona grigia della governance, dove la sicurezza diventa una copertura conveniente per pratiche anticoncorrenziali».

L’affaire arriva in un momento delicato. A settembre 2025 la Federal Trade Commission statunitense ha aperto un’indagine formale su AI e sicurezza dei minori, coinvolgendo proprio Meta, OpenAI e Google. In Europa, l’AI Act e il Digital Services Act impongono obblighi stringenti sui rischi che le piattaforme comportano per i minori. Da entrambe le sponde dell’Atlantico la domanda è la stessa: chi risponde quando un chatbot parla con un adolescente di autolesionismo?

Cosa insegna a chi ospita modelli in casa propria

Per chi sviluppa e ospita LLM in proprio, la vicenda solleva un punto nevralgico. Eseguire benchmark di sicurezza verso modelli esterni – magari via API – è una pratica diffusa, ma il confine con la raccolta occulta di intelligence competitiva è sottile. Aziende che gestiscono modelli on-premise, blindati dietro firewall aziendali, devono oggi chiedersi come impedire che terze parti facciano la stessa cosa con i loro endpoint: servono meccanismi di autenticazione robusta, rilevamento di abusi e capacità di distinguere un utente legittimo da un account creato ad arte. Tutto questo senza violare la privacy dei propri utenti reali, un equilibrio che le normative europee rendono ancora più delicato.

L’episodio mostra la tensione crescente tra la corsa alla credibilità dei modelli e la tentazione di usare la «safety» come leva competitiva. La trasparenza e il rispetto delle regole altrui non sono un optional: quando i regolatori bussano, la scusa della verifica di sicurezza rischia di non bastare.