L’ufficio del procuratore di San Francisco ha alzato il livello dello scontro contro la pornografia non consensuale generata dall’intelligenza artificiale. In una diffida formale, Apple e Google sono state intimare a smettere di lucrare su 13 applicazioni di “face-swap” che, secondo l’accusa, vengono usate in modo schiacciante per spogliare digitalmente donne e ragazze senza il loro consenso.

La lettera non chiede semplicemente una moderazione più attenta: esige la cancellazione delle app dagli store, tagliando il flusso di entrate che i due giganti ricavano dalle commissioni sulle vendite e sugli acquisti in-app. Un colpo diretto a un modello di business che, fino a oggi, ha permesso a strumenti AI sempre più accessibili di monetizzare l’umiliazione altrui.

Ma ridurre la vicenda a una disputa tra un procuratore e due piattaforme sarebbe miope. Qui si apre una crepa strutturale nel modo in cui pensiamo la regolamentazione dei contenuti sintetici. Le app sotto accusa non sono isolate: sfruttano modelli generativi—spesso varianti open weight di reti neurali per la sintesi di immagini—che chiunque può scaricare, affinare con tecniche di fine-tuning e mettere in produzione su hardware consumer, persino su un portatile con una GPU discreta. Eliminare un’app dallo store non disinnesca la capacità tecnica; al massimo ne alza il costo d’ingresso per l’utente meno smaliziato.

Il vero nodo è la tensione tra la facilità di deployment on-premise e la responsabilità diffusa. Quando un LLM o un modello generativo gira su un server aziendale o su un dispositivo personale, non c’è un gatekeeper centralizzato che possa intercettare un uso illecito. Le stesse capacità di generazione di immagini che permettono a un grafico di creare storyboard possono essere piegate a produrre deepfake pornografici. E la quantization spinta, che riduce l’impronta di VRAM e consente l’inference anche su macchine senza GPU dedicate, allarga la platea di potenziali abusatori.

San Francisco, patria di una fetta consistente dell’industria AI, lancia quindi un segnale che va oltre le 13 app: i canali di distribuzione commerciali devono assumersi la responsabilità di ciò che veicolano, ma il settore nel suo insieme non può illudersi che basti la polizia degli store. Gli sviluppatori di modelli, le comunità open source e le aziende che spingono il self-hosting aziendale si trovano davanti a una domanda scomoda: quali guardrail incorporare a monte, quando il controllo a valle è tecnicamente impossibile? Non è solo una questione legale; è una sfida di progettazione che incrocia etica, architettura dei dati e scelte di licenza.

Per chi valuta architetture on-premise anche per carichi di lavoro generativi, l’episodio ricorda che la sovranità dei dati non è un fine, ma un punto di partenza. Avere il pieno controllo dell’infrastruttura significa anche dover costruire meccanismi di audit e filtri che, altrimenti, sarebbero delegati a fornitori cloud. E significa fare i conti con un paradosso: più la tecnicia diventa facile da installare su un nodo locale, più la responsabilità si sposta sull’integratore.

La mossa del procuratore californiano non fermerà da sola la marea dei deepfake intimi. Ma costringe l’ecosistema a fare i conti con un principio scomodo: quando l’AI diventa un’arma di violazione della privacy a portata di tap, rimuovere l’icona da uno store è solo il primo passo di un percorso molto più lungo.