Google se une a OpenAI y Anthropic en el compromiso de controlar el scraping de datos

Qué ocurrió

Las empresas tecnológicas Google, OpenAI, Anthropic y Microsoft han decidido adoptar un nuevo directive en el archivo robots.txt que permitirá a los propietarios de sitios web controlar cómo se recopila su contenido para el entrenamiento de modelos de inteligencia artificial generativa. Este compromiso se basa en una propuesta presentada por Kevin Kelley, líder técnico de estándares de Anthropic, y está en consideración por la IETF, la organización de estándares abiertos para internet.

Los datos clave

El nuevo protocolo establece que los editores deberán incluir un nuevo agente de usuario en su archivo robots.txt, diseñado específicamente para el entrenamiento de IA. Este agente se verá de la siguiente manera:

User-Agent: __usage_ai-training  
Disallow: /  
Allow: /press-kit/

Con esta configuración, los editores pueden bloquear a los rastreadores que buscan recopilar datos para el entrenamiento de IA, mientras que aún permiten el acceso a partes específicas de su contenido, como un kit de prensa. Sin embargo, este nuevo sistema no impide la indexación general por parte de Google, que seguirá indexando el contenido para los resultados de búsqueda.

Lo que aún no se sabe

El nuevo protocolo no tiene efecto retroactivo y no puede deshacer el scraping que las empresas ya han realizado. Esto significa que cualquier contenido que ya haya sido recopilado por estos servicios permanecerá en sus bases de datos. Además, aunque Anthropic ya ha comenzado a apoyar esta iniciativa, Microsoft planea implementarla el 1 de febrero de 2027, mientras que Google también lo hará a principios de 2027 y OpenAI en los próximos meses.

Lectura final

Este avance en el control del scraping de datos es significativo para los editores y creadores de contenido, ya que les otorga mayor autonomía sobre cómo se utiliza su información en el entrenamiento de modelos de IA. La adopción de un estándar común por parte de estas grandes empresas podría sentar un precedente importante para el futuro de la ética en la recopilación de datos y el desarrollo de inteligencia artificial.