Dataset

Which AI crawlers 1,020 small ad-funded publishers name and block in robots.txt

Historical robots.txt policies from 1,020 readable files in a sample drawn from a 16,076-domain advertising-network frame. Named tokens, resolved site-root blocks, legacy-name flags and template markers are separate fields. In the saved snapshot, 244 of them named evaluated crawlers: 216 blocked at least one at the root and 28 blocked none. Of the 244, 167 also carried legacy-name flags. These observations describe public file contents, not owner intent, actual crawler compliance, lost referrals, model training or licensing income. The source was collected on 2026-09-02; descriptions and denominators were clarified on 2026-10-20.

• 16,076 dominios en el marco
• 1,200 domains drawn
• 1,020 readable files
• 9 rastreadores AI resueltos contra cada uno

Cobertura

2026-09-02

Última actualización

2026-10-20

Licencia

CC BY 4.0

DOI

10.5281/zenodo.22280370

¿Qué es una fila?

El archivo robots.txt de un editor: el cual AI arrastra su nombre, que en realidad bloquea, que nombres lleva que no hay documentos de proveedor, y cuya plantilla fue escrita.

Subjects

robots.txt, rastreadores de AI, GPTBot, ChatGPT-User, ClaudeBot, CCBot, Google-Extended, bloqueo de rastreadores, entrenamiento de AI, editores web, RFC 9309

Descargue la muestra de datos públicos1,020 rows · 8 columns · CSV · no account, no email

Lea el hallazgo de que esto salió deTus reglas de rastreo de IA pueden bloquear a un visitante que querías.

Cómo citar esto

Úsalo comercialmente, cámbialo, cúbrelo. La única condición es el crédito, y un enlace lo satisface.

Qué debe saber acerca de estos datos

• Estas son pequeñas empresas de contenido financiadas por publicidad en dos redes de publicidad. No son la web. Un editor sin red de anuncios no está en el marco en absoluto, y los grandes editores que cada otra figura publicada viene de comportarse completamente diferente.
• Un archivo que no se puede buscar es un hecho sobre un cortafuegos, no una política. Los 180 dominios que se negaron se dejan fuera del denominador en lugar de contar como silencio.
• Las categorías no son una partición y no deben ser agregadas. Un archivo que bloquea un rastreador que lo habría citado también bloquea al menos un rastreador, y a menudo lleva nombres de la plantilla de alguien más escrito. Añadiéndolos da un número mayor que la muestra.
• “Ningún proveedor lo documenta” no es “está muerto”. Revisamos cada nombre contra la supuesta lista de rastreadores publicada por su operador. Documentos antrópicos ClaudeBot, Claude-User y Claude-SearchBot, y ni anthropic-ai ni claude-web está entre ellos – pero ningún proveedor publica un aviso de jubilación, por lo que lo que podemos mostrar es que un editor está nombrando algo que el operador no contesta a la lista, no es eso.
• Un marcador de vendedor dice que parte del archivo no fue escrito por el fabricante. No dice que las reglas de la AI en particular provenían del proveedor — un bloque de Yoast comúnmente no contiene reglas de la AI en absoluto.
• Los dominios se omiten de la descarga. El marco publicado, la semilla y el método permiten que la muestra se redibuja; la omisión no es una garantía contra la reidentificación.

Cómo se midió

1,200 domains were drawn once from the 16,076 the two networks publish about themselves, ranked by a hash of a published seed and the domain name, so that anyone can redraw the same sample. The nightly crawler fetched each robots.txt on a single complete pass; 1,020 answered and 180 refused or could not be reached, and the ones that could not be reached are excluded from the denominator rather than counted as saying nothing, which would have moved the headline in the direction that flatters it. Each file was then resolved rather than searched: the rules that reach a named crawler at the site root, worked out by the grouping rules the robots.txt standard sets out, because a file that stacks thirty crawler names above one permissive block has authorised all thirty. Rows are in the order the source holds them, which is alphabetical by domain with the domain removed — unrelated to anything measured, so any run of rows from it is a fair slice of the whole.

El resumen

The first 60 of 1,020 rows. The download has all of them. Free to use with credit, commercially included.

Lo que cada columna significa

red

La red de publicidad cuya lista de clientes publicada el dominio fue extraída de

nombres_crawlers

¿Cuántos IA actuales arrastran los nombres de los archivos en absoluto, ya sea que los bloquea o no

bloques_crawlers

¿Cuántos de ellos bloquea en la raíz del sitio, una vez que el archivo se resuelve

llamado_tokens

Los rastreadores de los nombres de los archivos, separados por semicolons

bloqueado_tokens

Los rastreadores de los bloques de archivos, separados por semicolons

bloques_citation_crawler

si cuando al menos uno bloqueado es uno que sembra una página para responder a una pregunta y enlaces de nuevo

jubilado_tokens

Nombres en el archivo que ningún vendedor documenta actualmente, separado por semicolonias. No es una afirmación de que el rastreador dejó de funcionar — sólo que su supuesto operador no lo lista

Vendor_template

La herramienta o red cuyo bloque marcado aparece en el archivo, donde uno lo hace

← Cada conjunto de datos