Conjunto de dados

Which AI crawlers 1,020 small ad-funded publishers name and block in robots.txt

Historical robots.txt policies from 1,020 readable files in a sample drawn from a 16,076-domain advertising-network frame. Named tokens, resolved site-root blocks, legacy-name flags and template markers are separate fields. In the saved snapshot, 244 of them named evaluated crawlers: 216 blocked at least one at the root and 28 blocked none. Of the 244, 167 also carried legacy-name flags. These observations describe public file contents, not owner intent, actual crawler compliance, lost referrals, model training or licensing income. The source was collected on 2026-09-02; descriptions and denominators were clarified on 2026-10-20.

• 16,076 domains in the frame
• 1,200 domains drawn
• 1,020 readable files
• 9 Arqueiros de IA resolvidos contra cada um

Cobertura

2026-09-02

Última atualização

2026-10-20

Licença

CC BY 4.0

DOI

10.5281/zenodo.22280370

O que é uma linha

Um arquivo robots.txt do editor: que AI crawlers ele nomeia, que na verdade bloqueia, que nomes ele carrega que nenhum documento do fornecedor, e cujo modelo foi escrito a partir.

Sujeitos

robots.txt, AI crawlers, GPTBot, ChatGPT-User, ClaudeBot, CCBot, Google-Extended, crawler blocking, AI training opt-out, web publishers, RFC 9309

Baixe a amostra de dados públicos1,020 rows · 8 columns · CSV · no account, no email

Leia a descoberta que isto veio deAs tuas regras de rastreamento de IA podem bloquear um visitante que queiras.

Como citar isto

Use-o comercialmente, mude-o, construa-o. A única condição é o crédito, e um link satisfaz-o.

O que você deve saber sobre estes dados

• Estas são pequenas empresas de conteúdo financiada por publicidade em duas redes de publicidade. Eles não são a web. Um editor sem rede de anúncios não está no quadro em tudo, e os grandes editores que cada outra figura publicada vem de se comportar completamente diferente.
• Um arquivo que não pôde ser obtido é um fato sobre um firewall, não uma política. Os 180 domínios que se recusaram são deixados fora do denominador ao invés de contados como silenciosos.
• As categorias não são uma partição e não devem ser adicionadas. Um arquivo que bloqueia um rastreador que o teria citado também bloqueia pelo menos um rastreador, e muitas vezes carrega nomes que o modelo de outra pessoa escreveu. Adicionando- os dá um número maior do que a amostra.
• “Nenhum documento do fornecedor” não é “está morto”. Verificamos cada nome com a lista de rastreadores publicados do seu suposto operador. Documentos antrópicos ClaudeBot, Claude-User e Claude-SearchBot, e nem antrópico-ai nem claude-web está entre eles – mas nenhum vendedor publica um aviso de aposentadoria, então o que podemos mostrar é que um editor está nomeando algo que o operador não lista, não que nada responde a ele.
• Um marcador de fornecedores diz que parte do arquivo não foi escrito pelo editor. Ele não diz que as regras de IA em particular vieram do fornecedor — um bloco Yoast comumente não contém nenhuma regra de IA.
• Os domínios são omitidos do download. O quadro, a semente e o método publicados permitem que a amostra seja redesenhada; a omissão não é uma garantia contra a reidentificação.

Como foi medida

1,200 domains were drawn once from the 16,076 the two networks publish about themselves, ranked by a hash of a published seed and the domain name, so that anyone can redraw the same sample. The nightly crawler fetched each robots.txt on a single complete pass; 1,020 answered and 180 refused or could not be reached, and the ones that could not be reached are excluded from the denominator rather than counted as saying nothing, which would have moved the headline in the direction that flatters it. Each file was then resolved rather than searched: the rules that reach a named crawler at the site root, worked out by the grouping rules the robots.txt standard sets out, because a file that stacks thirty crawler names above one permissive block has authorised all thirty. Rows are in the order the source holds them, which is alphabetical by domain with the domain removed — unrelated to anything measured, so any run of rows from it is a fair slice of the whole.

O resumo

The first 60 of 1,020 rows. The download has all of them. Free to use with credit, commercially included.

O que significa cada coluna

rede

A rede de publicidade cuja lista de clientes publicada o domínio foi extraído de

nomes_ rastreadores

Quantos rastreadores de IA atuais os nomes dos arquivos em tudo, se bloqueia ou não

blocks_crawlers

Quantos deles ele realmente bloqueia na raiz do site, uma vez que o arquivo é resolvido

nomes_tokens

Os rastreadores os nomes dos arquivos, separados por pontos e vírgulas

blocked_tokens

Os rastreadores os blocos de arquivos, separados por pontos e vírgulas

blocks_citation_crawler

sim quando pelo menos um rastreador bloqueado é um que busca uma página para responder a uma pergunta e links de volta

aposentado_tokens

Nomes no arquivo que nenhum fornecedor documenta atualmente, separados por pontos- e- vírgulas. Não é uma alegação de que o rastreador parou de ser executado — apenas que seu suposto operador não o lista

fornecedor_template

A ferramenta ou rede cujo bloco marcado aparece no arquivo, onde se faz

← Cada conjunto de dados