Simon Weckert mi mostra una camicia con macchie sfocate rosa e verdi. Davanti a una telecamera che esegue riconoscimento di immagini, il classico riframework verde con la scritta PERSON scompare. Se allontano la camicia, il riframework ricompare. Sembra un trucco da artista, ma è un attacco mirato a uno dei punti ciechi della sorveglianza algoritmica: la dipendenza da modelli locali che classificano le persone senza che i cittadini sappiano esattamente come funzionano.

Il progetto nasce a Berlino, dove la polizia ha installato telecamere con riconoscimento di oggetti alla fermata di Kotbusser Tor. Sono le prime gestite direttamente dalla polizia in città. Weckert spiega che il sistema può rilevare una persona sdraiata a terra e far scattare un intervento, con conseguenze potenzialmente sproporzionate, per esempio verso le persone senza dimora. Il nodo non è solo la sorveglianza, ma la classificazione automatica di comportamenti considerati anomali.

Weckert non conosce l'algoritmo esatto usato dalle telecamere di Berlino. Molte telecamere commerciali eseguono varianti di YOLO, una famiglia di algoritmi open source per il riconoscimento di oggetti. L'artista ha installato YOLO su una propria telecamera e ha iterato pattern casuali. A ogni passaggio chiedeva al sistema con quale probabilità il pattern venisse classificato come persona. Poi modificava colori, rotazioni e orientamento, usando il gradient ascent per allontanarsi dalla categoria 'persona'.

L'aspetto più rilevante non è la camicia in sé, ma l'asimmetria che rivela. La polizia può mettere in funzione un sistema di sorveglianza basato su modelli di visione artificiale senza dichiarare versione, architettura o logica di addestramento. Weckert può dimostrare che il camuffamento funziona su YOLO pubblico, ma non può verificare se sia efficace sulle telecamere reali. Questa opacità trasforma la sicurezza in una scatola nera: il cittadino non può sapere se una contromisura è valida o se sta solo creando una falsa sensazione di protezione.

C'è poi un tema di deployment. Quando l'Inference gira direttamente sulla telecamera, il modello opera su hardware edge, spesso con risorse limitate. L'evasione avversariale non richiede accesso fisico al dispositivo: basta conoscere il modello. Per chi progetta o autorizza sistemi locali, il controllo dei dati non comporta automaticamente trasparenza sul funzionamento. Anzi, la mancanza di documentazione pubblica sposta il costo della verifica su chi subisce la sorveglianza.

Infine, il ciclo di aggiornamento. Weckert paragona i suoi pattern alle collezioni stagionali della moda: a ogni nuova versione di YOLO corrisponderà un nuovo camuffamento. Questo segnala che l'efficacia di un sistema di sorveglianza locale non dipende solo dall'hardware, ma dalla capacità di documentare e aggiornare il modello. Senza una filiera di verifica, ogni aggiornamento può rendere obsolete le contromisure esistenti, ma anche introdurre nuovi errori di classificazione.