La compañía fijó un plazo a la industria de la IA para separar los rastreadores de búsqueda tradicional de los usados para entrenamiento y agentes. Quienes no lo hagan quedarán bloqueados por defecto en los sitios con publicidad. Su programa Pay Per Crawl evoluciona además hacia Pay Per Use, que paga a los editores cuando su contenido genera valor.
Cloudflare anunció que a partir del 15 de septiembre de 2026 su configuración por defecto bloqueará los rastreadores de «uso mixto» (aquellos que combinan búsqueda, uso por agentes y entrenamiento de modelos) en cualquier página que aloje publicidad, informó TechCrunch. El bloqueo aplicará salvo que el dueño del sitio ajuste la configuración, y regirá para los nuevos clientes de Cloudflare, los sitios nuevos de clientes existentes y todos los clientes del plan gratuito.
La medida podría afectar la forma en que los proveedores de modelos de IA acceden al contenido web para entrenar sus sistemas y alimentar sus servicios de agentes. Según Cloudflare, la mayoría de los dueños de sitios quiere que su contenido pueda ser encontrado vía búsqueda, e incluso a través de servicios de IA, pero con protecciones frente a la entrega gratuita de su propiedad intelectual.
Una alusión directa a Google
Cloudflare apuntó sin nombrarlo al «mayor motor de búsqueda del mundo», que a su juicio accede a cerca del doble de información que otras empresas de IA porque dificulta que los sitios sigan siendo encontrados sin ser usados también para IA. Google ha rebatido antes esa generalización, recordando que ofrece Google-Extended, un mecanismo para excluir el contenido del entrenamiento y de productos como Gemini sin afectar la presencia en el buscador. Su rastreador principal, Googlebot, sigue no obstante alimentando funciones de IA como AI Overviews y AI Mode.
«Ahora que la mayoría del tráfico en internet no es humano, debemos ir más lejos y actuar más rápido para que pueda emerger un ecosistema sostenible», dijo el cofundador y CEO de Cloudflare, Matthew Prince, en alusión al reciente hito en que los bots superaron por primera vez al tráfico humano en línea, un cruce que no se esperaba hasta el próximo año.
De Pay Per Crawl a Pay Per Use
El anuncio se suma a la serie de herramientas que Cloudflare ha lanzado para dar a los editores control sobre su contenido en la era de la IA, incluido Pay Per Crawl, el mercado que permite cobrar a los bots de IA por el scraping. Ese programa evoluciona ahora hacia Pay Per Use: los editores recibirán pagos cuando su contenido genere valor, no solo cuando sea descargado. Los socios iniciales son Ceramic.ai y You.com; el editor que se sume cobrará cuando su contenido aparezca en los resultados de búsqueda de IA de Ceramic o cuando You.com acceda a una pieza de su contenido premium.
El cambio también aliviaría los recursos de los editores: los datos de Cloudflare indican que más del 50% del tráfico de los rastreadores de IA se gasta en volver a descargar páginas que no han cambiado. La iniciativa se enmarca en un esfuerzo más amplio de la industria por ordenar la relación entre rastreadores y sitios web, como el protocolo PACT que Cloudflare desarrolla junto a Google, Microsoft y Mozilla.
Con información de TechCrunch.
📬 Newsletter gratuito
