Il 15 settembre segna una data spartiacque per chi sviluppa agenti AI che attingono al web in tempo reale. Cloudflare, che gestisce una quota significativa del traffico internet globale, ha annunciato una modifica che di fatto chiude l’accesso gratuito alle pagine con pubblicità per i crawler “agent class”. Per capire la portata del cambiamento, basta guardare al nodo Google: con la nuova tassonomia, bloccare il training significa anche oscurare Googlebot dai motori di ricerca, un cortocircuito che mostra quanto sia aggrovigliata la partita.

Le tre categorie introdotte da Cloudflare – Search, Agent e Training – sostituiscono il vecchio interruttore unico per bloccare i bot AI. Search indica i crawler che indicizzano per restituire risultati successivamente; Agent copre i sistemi che agiscono in tempo reale per conto di un utente, come i bot di ChatGPT che recuperano pagine su richiesta; Training raccoglie contenuti per l’addestramento dei modelli. La novità è che dal 15 settembre, per i domini che mostrano annunci e per i clienti free-tier, Agent e Training saranno bloccati di default a livello di rete, non come semplice suggerimento nel file robots.txt. Questo significa che un’impresa che usa un agente per verificare i prezzi dei concorrenti o per leggere le specifiche tecniche di un fornitore non riceverà quei dati dalle pagine supportate da pubblicità, che sono proprio quelle più ricche di informazioni commerciali.

L’intoppo Google e la tassonomia autodichiarata

Cloudflare classifica i crawler in base a ciò che le aziende AI dichiarano sul comportamento dei propri bot. Non esiste un meccanismo tecnico che impedisca a un’organizzazione di etichettare un crawler di training come “Search” per aggirare il blocco. L’annuncio non spiega come verrà contrastato questo abuso, lasciando un punto debole evidente. Questo introduce incertezza per chi costruisce pipeline di inference: non si può fare affidamento sulla stabilità delle regole se le controparti possono mascherarsi. Il caso Google – il cui Googlebot fa sia search che training in un unico agente – è emblematico: un sito che volesse bloccare il training finirebbe per sparire dai risultati di ricerca, un costo che quasi nessuno è disposto a pagare. Cloudflare spera che la pressione spinga i crawler “misti” a separare le funzioni, ma intanto l’asimmetria resta.

L’impatto sui deployment on-premise

Le organizzazioni che gestiscono LLM in locale, magari per ragioni di sovranità dei dati o controllo dei costi, spesso inseriscono nei propri flussi RAG (Retrieval-Augmented Generation) dati prelevati dal web pubblico. L’idea di un agente che scandaglia la rete in tempo reale per arricchire le risposte è alla base di molti prototipi enterprise. Con il blocco di Cloudflare, questa fonte di dati non è più gratuita né garantita. Le aziende devono ora considerare accordi di licenza con i publisher, o investire in proxy e infrastrutture per bypassare i blocchi (con rischi legali), oppure ripiegare su knowledge base interne più limitate. Questo sposta il TCO (Total Cost of Ownership) di un sistema agentico: non bastano più GPU e storage on-premise, serve anche una voce di spesa ricorrente per l’accesso ai contenuti. Per chi aveva impostato il business case sull’open web, il conto cambia radicalmente.

La direzione che si sta profilando è quella del “Pay Per Use”, con attori come Ceramic.ai e You.com che già pagano i publisher quando i loro contenuti compaiono nei risultati AI. Cloudflare stessa sottolinea che oltre metà del traffico dei crawler AI è sprecato nel ri-scaricare pagine invariate, quindi c’è inefficienza su entrambi i fronti. Per le aziende con deployment on-premise, ciò potrebbe tradursi in un servizio a consumo per l’accesso a dataset freschi, simile a come oggi si acquistano API di dati finanziari. Si tratta di un cambiamento strutturale: dopo trent’anni di web aperto, il conto diventa dettagliato.

Il blocco di Cloudflare è solo il primo giro di una lotta tra chi produce contenuti e chi li consuma in modo automatico. Chi sviluppa agenti AI deve smettere di trattare il web come una risorsa illimitata e iniziare a costruire relazioni commerciali con i fornitori di dati. Per i responsabili di infrastrutture on-premise, il messaggio è chiaro: il dato esterno non è più un dato di fatto, ma un costo operativo da preventivare. L’alternativa è trovarsi a settembre con pipeline che restituiscono silenzio invece di risposte.