Cloudflare puso en marcha "Pay Per Use", un modelo que obliga a los crawlers de IA a pagar por acceder al contenido de los medios. Los editores dejan de regalar sus páginas para que las máquinas se entrenen gratis. Los primeros socios son Ceramic.ai y You.com. Lo contó TechCrunch.
Puntos clave
- Pay Per Use cobra a los crawlers de IA por acceder al contenido de los publishers.
- Cloudflare fija el 15 de septiembre de 2026 como fecha límite para que las empresas de IA separen sus crawlers de búsqueda de los de entrenamiento.
- Primeros socios: Ceramic.ai y You.com.
- Más del 50% del tráfico de crawlers de IA se gasta re-descargando páginas que no han cambiado.
- Cloudflare sostiene que Google accede a unas 2 veces más información que otras IA por su doble papel de buscador y entrenador.
Cómo funciona el cobro
La lógica es sencilla. Cloudflare gestiona buena parte del tráfico web del mundo, así que se sienta en la puerta por la que pasan los bots que rastrean internet. Con Pay Per Use, cada vez que un crawler de IA quiere el contenido de un editor que usa Cloudflare, tiene que pagar por ese acceso. El editor pasa de ver cómo le vacían el archivo gratis a poner un precio.
El detalle técnico que lo hace posible es la separación de crawlers. Cloudflare da a las empresas de IA hasta el 15 de septiembre de 2026 para distinguir sus bots de búsqueda de sus bots de entrenamiento. No es un capricho. Un crawler de búsqueda manda tráfico de vuelta al medio (aparece en resultados, la gente hace clic, llegan lectores). Un crawler de entrenamiento se lleva el texto y no devuelve nada. Mezclarlos permitía a las plataformas cobrarse el segundo con la excusa del primero. Separarlos deja al descubierto quién solo extrae. Los primeros en subirse son Ceramic.ai y You.com.
El desperdicio y el caso de Google
Hay un dato que explica por qué esto llega ahora. Más de la mitad del tráfico de crawlers de IA se gasta re-descargando páginas que no han cambiado. Los bots vuelven una y otra vez a por el mismo contenido, machacan los servidores de los medios y no aportan nada nuevo. Ese despilfarro tiene un coste real para quien aloja las páginas, y hasta ahora lo pagaba el editor. Cloudflare también apunta directo a Google: dice que accede a alrededor del doble de información que otras IA, precisamente por su doble rol de buscador dominante y entrenador de modelos. Matthew Prince, co-fundador y consejero delegado de Cloudflare, ha llevado la empresa a plantar cara a ese modelo.
Por qué importa
Si publicas contenido, esto cambia la ecuación. Lo que hasta ahora regalabas a las máquinas pasa a tener precio, y quien controla la puerta te da la herramienta para cobrarlo. Para un medio o una web con tráfico propio, es la primera vez que hay un mecanismo real para monetizar el rastreo, no solo bloquearlo. Si construyes con IA, la otra cara: los datos de entrenamiento y los que alimentan sistemas de recuperación (RAG) dejan de ser gratis. Conviene explicar qué es RAG para quien no sea técnico: es la técnica por la que un modelo, en vez de responder solo con lo que aprendió durante el entrenamiento, va a buscar información fresca en el momento (páginas web, documentos, una base de datos) y redacta la respuesta apoyándose en lo que acaba de leer. Por eso un chatbot te puede citar una noticia de hoy sin haber sido entrenado con ella. Ese "ir a buscar" es, muchas veces, un rastreo de la web, y ahí es donde entra el peaje de Cloudflare. Si tu producto depende de rastrear la web abierta para entrenar o para responder con información fresca, ahora hay una factura por medio. Y las opciones no se acaban, cambian de forma: puedes firmar acuerdos de licencia con las fuentes que de verdad necesitas, montar tus propias fuentes de datos, cachear de forma inteligente para no volver a descargar lo que no ha cambiado, o pagar el peaje y meterlo en el presupuesto. Lo que ya no vale es asumir que la web abierta es un almacén gratis e infinito. Conviene revisar de dónde salen tus datos, cuánto de ese rastreo puedes sustituir por fuentes propias o licenciadas, y presupuestar un coste de acceso que antes era cero. La internet como recurso de entrenamiento gratuito se acaba, y el 15 de septiembre es la fecha en la que empieza a notarse.
Relacionado
