El 1 de julio de 2025, Cloudflare lanzó una propuesta experimental que promete cambiar las reglas del juego en la economía digital: Pay per Crawl. Con esta innovadora iniciativa, los propietarios de sitios web recuperan el control sobre cómo las empresas de inteligencia artificial explotan sus datos, pudiendo cobrar, conceder acceso gratuito o bloquear por completo a los bots de IA. Si alguna vez te has preguntado quién realmente controla el uso de tu información en la web por parte de la IA, prepárate para una nueva era de monetización y gestión de contenidos.
El desafío de la IA y el contenido web: de las visitas gratuitas a la compensación justa
¿Recuerdas la costumbre de dejar rastrear tu web por Google a cambio de visitas? Esa dinámica ha cambiado drásticamente. El auge de los chatbots basados en IA y la consiguiente caída del tráfico desde buscadores tradicionales están poniendo en jaque la supervivencia de muchos medios y creadores de contenido. Hasta ahora, las empresas de IA han extraído datos de las webs sin ofrecer una compensación justa, lo que ha generado un desequilibrio significativo en el valor. Grandes cabeceras como The New York Times han logrado firmar acuerdos de licencia o incluso presentar demandas, pero para los editores más pequeños, la situación ha sido muy desfavorable.
Un marketplace para la autonomía digital
Con el lanzamiento de Pay per Crawl, Cloudflare ha desarrollado un sistema donde tú, como propietario de un sitio web, decides de forma sencilla qué bots pueden acceder a tu contenido y en qué condiciones. Este nuevo marketplace, actualmente en beta privada y orientado tanto a grandes como a pequeños editores, te permite elegir por cada rastreador de IA si permites el acceso, lo bloqueas o estableces un micropago.
Para participar, solo necesitas crear una cuenta en Cloudflare y configurar tu dominio. Desde el panel de control, podrás ver qué rastreadores solicitan acceso y tomar decisiones informadas:
- Cobrar micropagos por cada «crawl» de bots de IA.
- Permitir acceso gratuito a ciertos bots cuando te interese.
- Bloquear aquellos rastreadores que no desees.
Cloudflare actúa como intermediario en los pagos y los informes, asegurando que la empresa de IA pague a través de su plataforma y que el propietario del sitio reciba el importe acordado. Esto introduce una transparencia y una estructura de compensación que antes no existían para la mayoría de los creadores.
Herramientas avanzadas para la gestión de bots
Cloudflare ha estado desarrollando soluciones para ayudar a los editores a identificar y controlar estos accesos de bots de IA. Durante el último año, la compañía ha lanzado herramientas que permiten activar un bloqueo total de bots de IA con un solo clic, o usar el panel de control para vigilar, analizar y autorizar o denegar ataques automatizados a tu contenido.
Con estas herramientas, podrás:
- Identificar si un rastreador está accediendo a tu web para entrenar modelos de IA.
- Visualizar cuándo tu contenido aparece en respuestas personalizadas de IA o búsquedas avanzadas.
- Gestionar listas de bots admitidos o bloqueados, según tus intereses comerciales.
Este nivel de control granular es fundamental en un entorno donde los bots de IA, como los de OpenAI y Anthropic, pueden realizar miles de rastreos por cada visita real a tu sitio, desequilibrando por completo el modelo de monetización tradicional basado en publicidad y tráfico. De hecho, Cloudflare ha revelado que en junio, bots de IA de OpenAI visitaron las webs 17.000 veces por cada visita referida, y Anthropic llegó a los 73.000 rastreos por cada referencia generada.
Un nuevo contrato social digital para la era de la IA
Pay per Crawl no es solo una solución tecnológica; es la base de un «nuevo contrato social digital» para los creadores de contenido. Mientras que solo las grandes cabeceras han podido negociar acuerdos de licencia con gigantes tecnológicos o iniciar demandas, Cloudflare democratiza las reglas del juego. Ahora, cualquier editor, sin importar su tamaño, puede negociar y fijar sus propias tarifas, asegurando que ninguna compañía de IA extraiga valor sin una compensación justa.
Este modelo cuenta con el apoyo de importantes medios internacionales como Conde Nast, TIME, The Associated Press, The Atlantic, ADWEEK y Fortune, quienes ya han comenzado a bloquear por defecto a los rastreadores de inteligencia artificial a través de Cloudflare. La configuración predeterminada de Cloudflare para los nuevos dominios es el bloqueo, lo que significa que solo los bots que tú autorices manualmente tendrán acceso, proporcionando tranquilidad a los creadores de que sus datos no serán extraídos sin su consentimiento.
El impacto en la monetización y el futuro de la web
La introducción de micropagos por crawl busca solucionar el problema del desequilibrio de valor entre los editores y las empresas de IA. Este modelo podría crear una fuente alternativa de ingresos crucial, no solo para los grandes nombres, sino para cualquier creador que tenga algo relevante que decir en internet.
Aun así, existen limitaciones y oportunidades. La incertidumbre radica en si las empresas de IA estarán dispuestas a pagar por datos que han obtenido de forma gratuita durante años. Sin embargo, Cloudflare centraliza la recepción y distribución de los pagos, ofreciendo transparencia en las transacciones, que por ahora se centran en euros o dólares, sin criptomonedas. El éxito de Pay per Crawl dependerá del equilibrio entre lo que las empresas de IA estén dispuestas a pagar y lo que los editores exijan por su contenido.
El sistema también aborda la amenaza de los agentes de IA autónomos que pueden leer y sintetizar internet sin que el usuario pase por la web original. Con Pay per Crawl, el acceso de estos agentes puede regularse automáticamente mediante permisos y pagos programáticos. Esto abre la puerta a que, en un futuro cercano, la propia red gestione «muros de pago para bots», donde cada interacción genere un ingreso directo, incluso si el usuario final nunca accede visualmente al sitio.
El avance de Cloudflare con Pay per Crawl marca un giro significativo en la relación entre editores y empresas de IA, situando el control en manos de quien produce el contenido. Desde el 1 de julio de 2025, podrás decidir quién lee tu web, qué bots pagan y cómo se compensa el uso que hacen de tu trabajo, inaugurando una etapa mucho más transparente y justa en la economía digital de la era de la IA.
Si quieres entrar en Pay per Crawl, simplemente accede al siguiente enlace: PAY PER CRAWL