Cloudflare ha deciso di alzare il tiro. Dal 15 settembre, l’infrastruttura globale di rete che protegge milioni di siti inizierà a distinguere in modo netto i crawler dei motori di ricerca da quelli che alimentano l’addestramento di LLM e lo sviluppo di agenti AI. La nuova politica, annunciata senza mezzi termini, è un ultimatum: le aziende che raccolgono dati per l’intelligenza artificiale devono identificarsi e separare il traffico, altrimenti scatterà il blocco automatico su una fetta consistente del web.

Una forchetta nel traffico dei bot

La mossa non è tecnica ma profondamente strategica. Cloudflare, che gestisce circa il 20% del traffico internet mondiale, sta usando la propria posizione di intermediario per imporre un cambio di condotta. I crawler «buoni», come quelli di Google o Bing, restano ammessi perché portano visibilità. Quelli che invece setacciano pagine per costruire dataset di addestramento o per dare contesto in tempo reale agli agenti autonomi, finiranno sotto esame. Se non si adeguano, molti siti web – spesso inconsapevoli del passaggio di questi bot – smetteranno di essere accessibili per lo scraping.

O paghi o resti fuori

La vera posta in gioco è il pagamento per i contenuti. La policy non parla esplicitamente di compensi, ma è chiaro il meccanismo: una volta che il traffico è catalogato, gli editori possono decidere se e a quali condizioni concedere l’accesso. Le aziende che sviluppano modelli dovranno bussare alla porta, negoziare licenze, acquistare accesso. È una scossa per l’intero ecosistema dell’AI, abituato a considerare il web come una risorsa gratuita e illimitata. Per chi fa self-hosting e raccoglie dati in proprio, il cambiamento apre scenari complessi.

Cosa significa per chi fa on-premise

Chi gestisce infrastrutture on-premise per l’addestramento o il fine-tuning di modelli open-weight si trova di fronte a un bivio. Da una parte, la raccolta automatica di dati via web – spesso parte integrante delle pipeline interne – rischia di diventare illegale o semplicemente inefficace se i bot non vengono riconosciuti. Dall’altra, l’obbligo di negoziare licenze introduce un costo operativo aggiuntivo che incide sul TCO e sulla pianificazione delle risorse. Non si tratta solo di denaro: per le realtà che puntano sulla sovranità dei dati, l’uso di dataset curati e contrattualizzati diventa un fattore di compliance, specialmente in contesti regolati dal GDPR. La decisione di Cloudflare, quindi, non riguarda solo il cloud: accelera una tendenza che premia chi ha strategie di acquisizione dati trasparenti e documentate.

Un precedente che farà scuola

Questa politica segna un punto di svolta. Altre piattaforme di rete e provider di sicurezza potrebbero seguire l’esempio, creando un sistema di gestione dei crawler sempre più granulare e condizionato da accordi commerciali. Per il mercato dell’AI, significa che la fase del “raschiamento selvaggio” è agli sgoccioli. Chi lavora su modelli destinati a deployment locali, in azienda o in ambienti air-gapped, dovrà integrare questa variabile nella catena di approvvigionamento dei dati, valutando soluzioni ibride tra fonti aperte, licenze e crawling autorizzato. La strada verso un’intelligenza artificiale addestrata su basi solide e legali passa anche da qui.