Un nombre en robots.txt no bloquea necesariamente nada. Among 1,020 readable files in our historical publisher sample, 244 named AI crawlers. Of those, 167 also carried names classified as legacy by the registry used for that measurement. That is 167 / 244 = 68.4%, rounded to 68%.
El denominador importa. Esto no es el 68% de todos los editores, todos los sitios muestreados, o incluso todos los archivos que bloquean activamente un rastreador actual. Es la parte dentro de los archivos 244 que nombraron a los rastreadores.
Los nombres y las reglas efectivas son mediciones diferentes
La muestra guardada separa tres grupos:
| Estado de archivo observado | Archivos | Share of the 1,020 readable files |
|---|---|---|
| No se evaluó el rastreador de IA | 776 | 76.1% |
| Se llama a los rastreadores y bloqueó al menos uno en la raíz del sitio | 216 | 21.2% |
| Nombrado rastreadores, pero no bloqueó ninguno en la raíz del sitio | 28 | 2.7% |
Las dos últimas filas añaden a 244. Sus nombres por sí solos no le dirían a qué grupo pertenece un archivo. Un bloque que enumera varios agentes de usuario por encima de un Allow: / puede nombrarlos todos mientras permite el acceso.
Estas son evaluaciones de root-path. Un archivo también puede contener reglas diferentes para otro camino. No probamos cada URL o observamos las peticiones de cada rastreador.
El Dataset descargable conserva fichas nombradas, fichas bloqueadas, banderas de red y de nombre de legado por separado. Su método identifica el marco histórico, semilla, exclusiones y fecha de recogida. Un marco de lista de editores financiados por publicidad no es una muestra representativa de toda la web.
Nombres documentados de Antrópico
Antrópico propia documentación de rastreadores, comprobado nuevamente el 20 de octubre de 2026, distingue tres usos:
| Token | Uso autorizado por el operador |
|---|---|
ClaudeBot | Recopilación de contenidos que puedan contribuir a la formación modelo |
Claude-User | Obtener contenido en la dirección de un usuario |
Claude-SearchBot | Mejora de la calidad de los resultados de búsqueda |
La misma página no lista anthropic-ai o claude-web. El registro guardado insignia esas cadenas como legado. Esa observación no prueba que ningún software todavía las utiliza, o establecer si el trabajo de un editor en particular llegó a un modelo.
En este snapshot, 163 archivos llevaban la primera cadena heredada y 138 llevaban la segunda. Estas categorías se superponen: añadiéndolos los archivos de doble cuenta. ClaudeBot es 74, no el 101 previamente indicado en esta nota.
El bloqueo de una cadena heredada tampoco implica que un archivo omitió el token actual. Ambos pueden ocurrir en el mismo archivo. Por lo tanto, retiramos la inferencia anterior de que la mayoría de los propietarios creían que habían bloqueado Antropía pero lo habían dejado abierto. Ni las creencias del propietario ni el cumplimiento de los rastreadores fueron medidos.
Lo que esto dice sobre las referencias
Un control de entrenamiento y un control de recuperación dirigido por el usuario sirven diferentes propósitos. ChatGPT-User en 121 archivos y OAI-SearchBot en cuatro. Esa comparación es entre dos fichas de recuperación/búsqueda; no muestra que los rastreadores de recuperación fueron bloqueados más a menudo que todos los rastreadores de entrenamiento. Por ejemplo, GPTBot fue bloqueado en 206 archivos.
Una política de robots.txt no es una pérdida de tráfico medida. Una solicitud exitosa no es prueba de que el contenido fue licenciado. Un token perdido no es prueba de que cada bot puede entrar: un firewall, autenticación u otra regla también puede controlar el acceso.
Google proporciona además un Control de Consola de búsqueda para buscar características de IA generativas. Está separado de Google-Extended, y su entorno de propiedad privada no se puede determinar desde este archivo público. Herramienta de rastreador explica esa distinción sin adivinar su configuración o estimar los clics perdidos.
Un cheque práctico
Lea el token contra la documentación actual del operador, evalúe las reglas para el camino que le importa, e inspeccione los registros de servidor reales si necesita saber qué lo ha buscado. Grabar los que son observaciones separadas. No traducir una lista de nombres en una exclusión de IA universal, puntuación de la preparación de licencias o pronóstico de ingresos.
Evidencia: A. La instantánea histórica de los datos primarios y la documentación actual del operador apoyan los conteos y definiciones declarados. No establecen la adopción actual en toda la web, la intención del usuario o el impacto económico.
Una bandera heredada es una clasificación de investigación
El legado de la palabra describe cómo el registro de rastreadores guardados clasifica una ficha para este estudio. No es una afirmación de que una cadena nunca puede aparecer en una solicitud o que cada editor que la utiliza cometió un error.
Un operador puede cambiar el nombre de un rastreador, mantener un antiguo nombre de compatibilidad o cambiar el papel de un producto. Las plantillas de terceros pueden preservar cadenas antiguas. El software fuera del sistema documentado del operador también puede enviar un valor de usuario conocido. El nombre público por sí solo no identifica al solicitante.
Verifique la referencia actual del operador y el propósito de la regla antes de borrarla. Agregar una ficha documentada actual puede ser apropiada para una política elegida, pero eliminar una antigua sin entender la configuración circundante puede cambiar el comportamiento que se pretendía conservar.
La útil reclamación de investigación es más estrecha: estos archivos históricos contenían cadenas clasificadas de esta manera declarada. La pregunta útil de mantenimiento es si las reglas en vivo todavía expresan las opciones actuales del editor.
El mismo nombre puede aparecer en una regla que permite
Un recuento de nombres detecta una mención explícita. No evalúa si el rastreador relevante puede buscar un camino en particular. Un grupo puede nombrar varios agentes y permitir la raíz, bloquear un directorio más estrecho o incluir reglas más específicas.
El Protocolo de exclusión de robots define los grupos y el camino que coincide. Un analizador necesita evaluar las reglas aplicables en lugar de tratar el texto User-agent seguido de un nombre conocido como un bloque.
Para un ejemplo elegido, un sitio nombra a un rastreador documentado pero utiliza una regla de permiso para la raíz. El nombre aparece en una búsqueda de texto mientras que la política de raíz evaluada permite el acceso. Otro sitio puede omitir ese nombre explícito pero aplicar un bloque de comodín.
Estos ejemplos explican por qué los nombres de fichas y los bloques de raíz resueltos son campos de conjuntos de datos separados. Una interfaz útil debe preservar esa distinción, especialmente cuando un visitante espera que “fundada en robots.txt” significa “blocked”.
El acceso a la raíz no representa todas las URL
Una prueba de root-path pregunta sobre el sitio / ruta. Una publicación puede permitir la raíz al mismo tiempo que restringe un archivo u otro directorio. También puede utilizar una excepción más específica para un camino por debajo de una restricción más amplia.
Si la decisión se refiere a un artículo, evalúe el camino de ese artículo. Si se refiere a una colección, inspeccione caminos representativos y explique la muestra. No convierta una evaluación de la raíz en una declaración de que cada página tiene la misma política.
El estudio histórico reporta intencionalmente bloques de nivel raíz para la comparación. Eso hace que su unidad sea reproducible. También limita lo que se puede inferir sobre URLs de contenido individual. Una puntuación de política de rastreo que esconde la ruta probada perdería una parte importante del método.
El comportamiento del camino puede cambiar cuando un sitio migra su estructura URL. Una regla que una vez se aplica a /blog/ puede que ya no cubra los artículos movidos en otros lugares. Mantenga el alcance de contenido previsto en el registro de mantenimiento en lugar de sólo la lista de agentes.
Búsqueda de descubrimiento, entrenamiento y búsqueda de usuarios necesitan opciones separadas
Referencia de los rastreadores de OpenAI GPTBot, OAI-SearchBot y ChatGPT-User por propósito. El descubrimiento de la búsqueda no es la misma operación que recoger material de entrenamiento o recuperar una página a petición de una persona.
Documentación de los rastreadores de la perplejidad También distingue su rastreador de búsqueda de búsqueda de la búsqueda solicitada por el usuario. Los operadores pueden describir el manejo diferente para las solicitudes detrigadas por el usuario, así que no asuma que cada ficha siga un modelo de control idéntico.
Un editor puede elegir deliberadamente diferentes políticas para esos usos. Bloquear un token y permitir que otro no sea automáticamente contradictorio. Puede reflejar el deseo de permanecer descubierta al limitar otro uso.
La investigación no elige esa política para cada sitio web. Ayuda a identificar qué regla declarada se aplica a qué propósito documentado. Una lista copiada de otra publicación no puede proporcionar su propia decisión sobre descubribilidad, licencias o acceso público.
Mantener la declaración, observación y ejecución separadas
Un archivo de robots establece una preferencia para los clientes que siguen las reglas pertinentes. Los registros del servidor muestran solicitudes observadas bajo las condiciones de registro. Una regla de acceso de borde o aplicación puede negar o permitir solicitudes. Estas son capas relacionadas, no pruebas intercambiables.
If you need to know whether a crawler visited, inspect logs and verify the requestor where the operator provides a method. User-agent text alone can be spoofed. A request carrying a famous name is not automatically an authenticated visit from that company.
Si necesita saber si el acceso fue denegado, examine la respuesta real o los registros de la ejecución. Un desagüe declarado no prueba un bloque de bordes, y un bloque de bordes no necesariamente revela una preferencia robot correspondiente.
Por último, ninguna de esas observaciones prueba por sí sola lo que un modelo utilizado posteriormente internamente. Una captura exitosa no es un recibo de entrenamiento. Una solicitud denegada no es prueba de que ninguna otra fuente contiene material similar. Mantenga afirmaciones a nivel de los soportes disponibles.
Reproduce el porcentaje con su denominador real
The headline uses one hundred sixty-seven files divided by two hundred forty-four files that explicitly named evaluated AI crawlers. That gives about 68.4%. Dividing the same numerator by all one thousand twenty readable files gives about 16.4%.
Ambos resultados aritméticos se pueden calcular, pero describen diferentes grupos. El titular del artículo está condicionado al subconjunto de nombres. No es la parte de todo el marco de editor.
La muestra también comenzó con mil doscientos dominios dibujados, no todos los cuales rindieron un archivo de robots legibles. Un recuento basado en respuestas legibles no establece la política de dominios excluidos. No asignar una respuesta perdida al grupo permitido simplemente porque no se observó ningún bloque.
El mismo cuidado se aplica a los nombres heredados superpuestos. Un archivo puede llevar ambas cadenas, por lo que sus cuentas individuales no se pueden agregar para recuperar el número de archivos distintos que llevan. Utilice la unión de nivel de fila o el recuento bien publicado.
Lo que una plantilla compartida puede y no puede explicar
El texto repetido a través de los archivos puede ser evidencia de una plantilla o generador común. No establece la ruta de instalación exacta, ya sea que el propietario lo revisó o por qué permanece en su lugar.
Un editor puede haber aceptado a sabiendas un defecto del vendedor. Otro puede haber editado. Un tercero puede haber copiado parte del archivo de una guía. Sin entrevistas, cambio de historia u otra evidencia directa, asignando la intención exageraría la instantánea.
Use patrones de plantillas para decidir dónde puede ayudar la guía de mantenimiento. Por ejemplo, un proveedor podría hacer que el alcance de un producto de control sea más claro o mostrar el token documentado actual al lado del ajuste. Esas son posibles mejoras, no las causas medidas de los conteos históricos.
Si administra varios sitios, inspeccione los archivos finales desplegados en lugar de asumir el mismo ajuste crea salidas idénticas en todas partes. Diferentes versiones de plugin, código de tema o reglas de hospedaje pueden afectar el resultado. Grabar el generador y la versión donde se sabe.
Un registro práctico de mantenimiento de la policía de rastreadores
Listar el producto o el uso que desea manejar, el token actual del operador, los caminos previstos, la URL fuente y la fecha comprobada. Agregue la regla pública efectiva y cualquier capa de ejecución separada que utilice.
Si no sabes quién genera una sección, investiga antes de editarla manualmente. Si la documentación del operador no está clara acerca de una embrague dirigida por el usuario, registre esa ambigüedad en lugar de reclamar una exclusión universal.
Después de cambiar una regla, inspeccione la respuesta en vivo. Comprueba que es el archivo deseado en lugar de una página HTML o una versión en caché. Confirme que los recursos de búsqueda, imagen o aplicación no relacionados no fueron restringidos accidentalmente.
Mantenga una copia de la configuración anterior y una ruta de devolución. Un amplio cambio de comodín puede afectar más que el producto AI. Un objetivo de política estrecha no debe romper accidentalmente el descubrimiento ordinario o la renderización de páginas.
No estime el tráfico perdido de un número de ficha
La diferencia histórica entre las fichas bloqueadas no nos dice cuántas visitas habrían llegado de otro modo. Para estimar los efectos de referencia, usted necesitaría observaciones de tráfico, una comparación adecuada y suposiciones sobre otros cambios.
Un aumento o disminución posterior de las visitas puede coincidir con una edición de políticas mientras que la demanda de búsqueda, el contenido, el ranking o el producto en sí también cambia. Un gráfico ordinario antes y después no puede aislar el efecto de la política automáticamente.
Mantener impresiones, clics, sesiones e ingresos distintos. Ser mencionado en una respuesta no es el mismo que recibir una visita, y una visita no es el mismo que una sesión de anuncio. Una solicitud de rastreo es otra unidad de nuevo.
El herramienta de rastreador público puede ayudar a inspeccionar la política visible y el contexto histórico. No puede recuperar la configuración privada Search Console, autenticar cada solicitud o calcular los ingresos perdidos de una lista de robots. Esos límites deben viajar con cualquier hallazgo que comparta.
Convierta la auditoría en una próxima medida clara
Si el token es actual y la regla efectiva coincide con su objetivo, mantenga el registro de evidencia y reviselo después de cambios relevantes del operador. Si un token legado es la única expresión de un objetivo actual, compruebe el reemplazo documentado y pruebe la política prevista. Si el archivo se genera en otro lugar, cambie la configuración de propiedad y verifique el despliegue.
No eliminar los controles simplemente para hacer una puntuación de auditoría más verde. Decidir el propósito primero. Un bloque deliberado puede ser correcto para el editor, incluso si reduce una ruta de descubrimiento. Una prestación deliberada también puede ser correcta cuando se ajusta a los objetivos de la publicación.
El resultado más fuerte es una política comprensible: lo que se permite, lo que se restringe, para qué uso y lo que la prueba realmente observó. Eso es más útil que una larga lista de nombres heredados presentada como protección completa de cada sistema AI.
Mantenga las versiones de origen para que los cheques futuros puedan reproducir esa política.