Google planea un control común para el entrenamiento de IA en robots.txt

Google planea incorporar en 2027 un control común para el entrenamiento de IA dentro de los archivos robots.txt. La propuesta permitiría que los sitios web expresen una preferencia general ante varios proveedores de inteligencia artificial mediante un único token de política, en lugar de configurar instrucciones separadas para cada empresa.

El anuncio fue publicado por John Mueller, defensor de Google Search, en el blog oficial de Google Search Central. La compañía aclaró que se trata de un plan de adopción previsto para 2027 y no de una norma ya vigente ni de una implementación disponible para todos los sitios.

Qué propone el control común para el entrenamiento de IA

La propuesta contempla incorporar en robots.txt un “token de política” compartido. Ese identificador permitiría que el administrador de un sitio establezca una preferencia amplia sobre el uso de sus páginas para entrenar sistemas de inteligencia artificial.

La iniciativa busca evitar que los responsables de sitios deban repetir instrucciones para cada desarrollador de modelos. Si distintos proveedores adoptan el mismo mecanismo, una sola indicación podría expresar la decisión general de permitir o rechazar el entrenamiento con los contenidos publicados.

Cómo funcionaría la relación con Google-Extended

Google ya ofrece desde 2023 un control específico denominado Google-Extended. Según la compañía, cuando un sitio utilice el nuevo token compartido para rechazar el entrenamiento y no mencione de manera explícita a Google-Extended, Google prevé interpretar esa configuración como una prohibición para ese rastreador o control.

Los controles propios de cada empresa seguirían funcionando junto con la señal conjunta. De esa manera, un sitio podría establecer una regla general para los proveedores participantes y, al mismo tiempo, definir una excepción o una instrucción particular para Google mediante Google-Extended.

Una señal general no reemplazaría las decisiones específicas

El diseño anunciado permitiría combinar dos niveles de preferencia. El primero sería una decisión amplia, aplicable a los proveedores que adopten el mecanismo. El segundo consistiría en reglas dirigidas a desarrolladores determinados.

Esta diferencia es relevante para empresas, medios y administradores de contenidos que no quieran aplicar la misma política a todos los sistemas de inteligencia artificial. La propuesta de Google no indica que una única configuración vaya a controlar automáticamente a proveedores que no participen del esquema.

Qué relación tiene la propuesta con la IETF

El mecanismo se basa en trabajos del grupo AIPREF de la Internet Engineering Task Force (IETF), organización que desarrolla estándares técnicos abiertos para Internet. Google indicó que la definición sobre el uso de los contenidos para entrenamiento fue desarrollada dentro de ese ámbito.

La compañía también señaló que las conversaciones sobre el resto del vocabulario de AIPREF continúan. Por eso, el anuncio debe entenderse como una propuesta en proceso de estandarización y no como una especificación definitiva adoptada por toda la industria.

El vínculo con las reglas europeas sobre inteligencia artificial

Google afirmó que la propuesta es compatible con el Código de Prácticas de la Unión Europea para los proveedores de modelos de inteligencia artificial de propósito general, en el marco de la Ley de Inteligencia Artificial de la Unión Europea. Según la empresa, ese marco reconoce robots.txt como un método principal para que los editores expresen preferencias legibles por máquinas.

La referencia europea aporta contexto regulatorio, pero no convierte por sí sola al nuevo token en una obligación general para todos los sitios ni confirma que todos los proveedores vayan a implementarlo. La adopción dependerá de la evolución del trabajo técnico y de la participación de las empresas involucradas.

Qué cambia por ahora para los sitios web

En el corto plazo, los administradores de sitios no tienen que reemplazar sus configuraciones actuales por este mecanismo futuro. Google informó que los controles específicos existentes continuarán funcionando y que comunicará avances sobre la adopción prevista para 2027.

La principal consecuencia esperada es una simplificación de la gestión si el control obtiene respaldo suficiente entre los proveedores de inteligencia artificial. En lugar de mantener instrucciones aisladas para cada desarrollador, un sitio podría utilizar una señal común y conservar reglas particulares cuando necesite distinguir entre empresas.

La propuesta también puede facilitar que los editores documenten una posición general sobre el entrenamiento de modelos. Sin embargo, su alcance práctico dependerá de qué proveedores reconozcan el token, de cómo interpreten sus valores y de la versión final que surja del proceso de la IETF.

Qué falta definir antes de su adopción

El anuncio no incluye una fecha de disponibilidad general, una sintaxis final para implementar el token ni una lista definitiva de proveedores participantes. Tampoco establece que la propuesta tenga efecto inmediato sobre el rastreo, la indexación o la aparición de páginas en los resultados de búsqueda.

Google sí indicó que los sitios que permitan específicamente Google-Extended pueden ser elegibles para aparecer en respuestas y recibir clics mediante la fundamentación con fuentes en las aplicaciones Gemini. Esa afirmación corresponde a la política comunicada por Google y no equivale a una garantía de visibilidad o tráfico.

Para las empresas y los medios digitales, el próximo paso consiste en seguir las actualizaciones oficiales antes de modificar robots.txt. Hasta que exista una implementación publicada y una adopción comprobable, las decisiones sobre el entrenamiento de IA deben gestionarse con los controles actualmente disponibles y con atención a las instrucciones de cada proveedor.