As tuas regras de rastreamento de IA podem bloquear um visitante que queiras.

Leia a regra do rastreador antes de mudá-la. Em nossa amostra histórica, os editores escreveram regras diferentes para diferentes visitantes relacionados com IA. Isso não nos diz se o proprietário pretendia a diferença, se um pedido foi bloqueado, ou quantas visitas resultaram.

Um site pode publicar um robots.txt arquivo em sua raiz. O arquivo comunica preferências de rastreamento; ele não é uma senha ou um sistema de controle de acesso. Alguns sites não têm um arquivo legível. Outros dependem de uma máquina ou plug- in para gerá- lo. A primeira pergunta útil é o que seu arquivo público realmente diz hoje.

Nossa medida histórica encontrou regras de não autorização de nível de raiz para ChatGPT-User em 121 of 1,020 readable files, em comparação com 4 de 1,020 em vez OAI-SearchBot. The shares round to 11.9% and 0.4%. A large observed difference is clear; a precise multiple is much less certain because the second count is so small.

Documentação do rastreador do OpenAI, verificado em 25 de outubro de 2026, distingue busca, treinamento e recuperação de gatilhos de usuário. OAI-SearchBot suporta resultados de pesquisa ChatGPT. ChatGPT-User lida com algumas visitas solicitadas pelo usuário e não é o controle para inclusão de pesquisa; regras de robôs podem não se aplicar a essas solicitações. Ambas as descrições são mais precisas do que dizer que um visitante envia leitores enquanto o outro simplesmente armazena páginas.

Este artigo separa a amostra original da orientação operacional atual. O conjunto de dados não foi re- executado ou re- datado como parte desta atualização editorial. Use o Ferramenta de política do rastreador para inspecionar uma política pública, então verifique os logs de servidor ou de borda se sua pergunta diz respeito a solicitações reais.

Quantas vezes mais, exactamente?

121 of 1,020 files against 4 of 1,020. Divide those and you get 30, which is the best single guess and is nowhere near as solid as it looks, because it rests on a denominator of four files.

So here is what we can actually stand behind. Take the 1,020 files, draw 1,020 of them back out at random with repeats allowed, count both crawlers again, and do that twenty thousand times. That is a way of asking what this measurement would have said if a different thousand publishers had been picked, and it assumes nothing about the two counts moving together — which matters, because they are counts over the same files, and three of the four sites that block OAI-SearchBot bloco ChatGPT-User Também. Dezenove vezes em vinte, a resposta pousa entre 14.5 and 134. Em uma amostra em cinquenta, nenhum local em todos os blocos OAI-SearchBot e o múltiplo não tem nenhuma extremidade superior.

Um segundo método, que não partilha nenhuma suposição com o primeiro: tomar o intervalo cada percentagem é conhecida separadamente e dividir a extremidade baixa de um pelo extremo alto do outro. Isso é deliberadamente demasiado largo, e dá 9.9 a 127.

Um método dá um limite inferior acima de dez; o outro dá 9.9, que é próximo de dez, mas não o limpa literalmente. O resumo defensável é uma grande diferença com uma razão incerta. As acções observadas e as contagens brutas levam a que encontrar melhor do que um múltiplo afiado. Uma estimativa de ponto perto de 30 não é um resultado exato da população.

Como toda a amostra se parece

E por rastejante:

A última coluna é o intervalo a que cada figura é realmente conhecida. É a razão pela qual as quatro linhas inferiores devem ser lidas como "quase ninguém", e não como uma ordem.

O que remensurou mudou, e o que não mudou

Isto foi publicado pela primeira vez em 2026-09-01 de 106 arquivos, foi buscar um de cada vez. Desde então, nosso próprio rastreador tem lido o mesmo tipo de arquivo todas as noites, então a mesma pergunta poderia ser feita novamente de quase dez vezes mais muitos editores sem pedir a ninguém nada de novo.

Nothing turned over. The headline share — publishers with no rule at all — moved from 76% to 76.1%. The two figures that moved most, supplier wording from 34% to 29.9% and the historical answer-related category from 14% to 12.1%, both moved less than the first sample's own margin of error, which was about eight points wide.

What did change is precision. At 106 files these shares were known to within roughly eight points; at 1,020 they are known to within two or three.

E o múltiplo no topo desta nota desapareceu. 15× — 15 files of 106 against 1 of 106 — which is the right division of the right counts and still should not have been printed, because the denominator was a single file. At 1,020 files the point estimate is 30 and the range runs from about 10 to well over 100, so 15 is inside a wide uncertainty interval, rather than disproved by the larger sample. Neither point estimate deserves a precise, universal headline. A number that survives being divided correctly can still be a number nobody should have stated, and the tell was in the first sample all along: 1 of 106 has a range of 0% to 5%, and no ratio built on it could have been worth two significant figures.

O cheque que tínhamos que fazer primeiro, e quase erramos.

Uma amostra maior só é melhor se for uma amostra da mesma coisa.

Nosso rastreador trabalha através de sua lista menos recentemente tentou primeiro, então lendo "o que quer que ele tenha coletado até agora" é uma amostra de quem quer que tenha acontecido para alcançar, o que não é aleatório com relação a nada. Uma passagem anterior nesta mesma loja manteve 597 arquivos de editora onde todos os 597 vieram de uma das duas redes de anúncios e nenhum do outro. Isso é invisível em um total. Teria publicado clientes de uma rede como a lista inteira.

So this measurement does not read everything in the store. It reads only the 1,200 domains that were drawn once, in advance, with each network given its share of the list, and only the files collected on a single day when all 1,200 were tried. Eleven other files in the store are readable and were left out because they are not part of that draw. All eleven are from one network, and all eleven say nothing about AI crawlers — so including them would have nudged the headline upwards using files that nothing chose at random.

Importa aqui mais do que normalmente seria, porque os editores das duas redes diferem genuinamente: 88% dos arquivos de um deles não dizem nada sobre os rastreadores de IA, contra 60% do outro. Re-ponderando assim cada rede conta para sua parte da lista completa, em vez de sua parte dos arquivos que nos responderam, move cada figura na tabela acima em menos de meio ponto.

Porque é que os números saem assim?

Quase um terço dos arquivos históricos carregava a redação consistente com um modelo de fornecedor, como um bloco de rede de anúncios ou uma lista gerada por plug- ins. Isto é evidência sobre o texto, não sobre o estado mental do editor. O proprietário pode tê- lo aceitado deliberadamente, delegou a decisão ou não o fez. Nós não entrevistamos os proprietários, então não podemos distinguir essas possibilidades.

The historical classification found at least one name absent from the provider reference list in 16.4% of files. In 2.3%, every explicitly named AI-related agent fell into that category. Absence from a reference list is a reason to investigate, not proof that no client anywhere uses the name or that a rule can have no effect. Current provider names and a historical classification need separate dates.

A parte que é fácil de errar

Nomear um rastreador não é bloqueá-lo.

O arquivo é lido em blocos. Um bloco é uma ou mais linhas que nomeiam rastreadores, seguidas pelas regras que se aplicam a eles — e as regras só começam quando termina a execução dos nomes. O padrão que define isso, RFC 9309, o coloca claramente: um grupo pode nomear vários agentes antes de suas regras começarem. Especificações da RFC 9309 define como grupos de correspondência e caminhos são interpretados.

So a file that stacks thirty crawler names on top of one permissive rule has permitted all thirty. It reads as a wall and works as an open door. 2.7% of this sample does exactly that with at least one crawler.

É por isso que os números acima são trabalhados em vez de contados. User-agent: GPTBot teria relatado esses arquivos como maximamente rigorosos quando eles são o oposto — e é o erro que qualquer um que verifica seu próprio arquivo por olho vai fazer.

O que fazer, se alguma coisa

Há uma decisão real aqui e não é aquela que os modelos fazem.

Faça escolhas separadas para treinamento de modelo, descoberta de pesquisa e um usuário pedindo a um assistente para abrir uma página. Esses propósitos podem usar controles diferentes. Verifique a terminologia atual do provedor em vez de assumir que cada nome contendo “AI” tem o mesmo trabalho.

Por exemplo, Referência comum do Google explica que o Google-Extended é um token de produto, não um visitante HTTP separado. Seu Gêmeos afirma que o uso difere da inclusão e classificação do Google Search. Uma lista de nomes em um arquivo não pode mostrar quais solicitações chegaram ao seu servidor.

Uma política prática pode permitir o rastreamento relacionado à pesquisa enquanto declina usos de treinamento especificados. Outro editor pode escolher uma restrição mais ampla. Nenhuma escolha garante um encaminhamento, pagamento, acordo de licenciamento ou remoção de material já usado em outro lugar. Nossa medição não determina qual política é comercialmente melhor para você.

Utilizar o espaço de trabalho de análise livre para indicar seu site e pergunta. Leia a política pública, identifique quem controla cada seção gerenciada e mantenha uma cópia antes de mudar qualquer coisa. Um painel de hospedagem pode impor regras que não são visíveis no arquivo, então uma revisão completa precisa tanto da declaração quanto da configuração de serviço real.

Limites

A Conjunto de dados de política de rastreamento publicado contém as tabelas históricas e o escopo da coleta. As referências atuais do provedor neste artigo foram verificadas em 25 de outubro de 2026, o que não atualiza o conjunto de dados.

This is 1,020 readable files, from a sample of 1,200 drawn with a fixed starting word from a list of 16,076 domains that two ad networks publish as their own publishers. It describes small, ad-funded content businesses and nothing more. It does not establish the behavior of publishers outside those networks, enterprise news organizations, stores or the wider web. We have not surveyed every other published study or established that all large publishers behave differently.

180 of the 1,200 gave us nothing we could read. They are left out rather than counted as permitting everything, because a refusal — an HTTP 403, which 107 of them gave — is a fact about a firewall and not about a policy, and counting them the other way would have moved the headline in the direction that flatters it. Ten of the 180 answered normally with an empty file; those are left out too, on the same rule the first measurement used, and counting them as silent instead would put the headline share at 76.3% rather than 76.1%.

A lista de onde tiramos são os publishers em duas redes de anúncios, não a web. Um publisher sem rede de anúncios não está nele.

O que medimos é o que os arquivos dizem, não o que acontece a seguir.

Isto conta regras escritas em arquivos. Não mede se qualquer empresa de IA obedece-lhes, e um deles diz claramente que não pode.

As descrições atuais do provedor distinguem a recuperação desencadeada pelo usuário da descoberta automática. Uma regra de não permissão escrita pode não ser o controle eficaz para cada visita solicitada pelo usuário. Isso não muda o texto observado nos arquivos históricos; ela muda as consequências que podemos razoavelmente inferir dele.

Em particular, permitir um rastreador de busca não garante uma ligação ou uma visita. Bloquear um rastreador de treinamento não estabelece que todo o acesso relacionado com IA parou. Um rastreador também pode ser evitado por um firewall, mesmo quando o robots.txt aparece permissivo. Estas são observações diferentes e precisam de provas diferentes.

Uma verdadeira mudança de plataforma que torna a distinção útil

Cloudflare documentação gerenciada robots.txt, atualizado em 22 de outubro de 2026, descreve diretrizes gerenciadas geradas a partir de preferências de Busca, Agente e Treinamento através do Bot Preference Sync. Este é um exemplo atual de uma plataforma que transforma uma preferência de painel em texto público. Isso não significa que as assinaturas históricas de fornecedores em nosso conjunto de dados veio a partir desse recurso particular.

A lição operacional é inspecionar o arquivo servido, não só a cópia no seu repositório de código. Uma seção gerenciada pode ser adicionada antes do texto da sua origem. Por outro lado, uma configuração all- allow pode deixar o arquivo de origem inalterado. A fonte relevante de verdade para um rastreador é a resposta que ele recebe, juntamente com o comportamento documentado do provedor e qualquer regra de acesso aplicada separadamente.

Não remova um bloco gerenciado cegamente. Identifique a configuração que o produz, decida se reflete sua preferência e faça a alteração no sistema que o possui. A edição de um arquivo de origem pode deixar uma seção gerenciada por bordas intocada. A edição de um arquivo gerado manualmente também pode ser revertida pelo próximo plug- in ou atualização de plataforma.

Teste uma política declarada sem reclamar um resultado de tráfego

Comece com uma URL pública que os leitores devem ser capazes de acessar. Salve a resposta atual dos robôs, seu status, a data e o sistema acreditado para geri- la. Verifique a localização da raiz e um caminho real do artigo. Um achado de nível raiz é útil, mas uma regra de caminho mais estreita pode mudar a resposta para uma página individual.

Em seguida, anote o propósito que você está tentando permitir ou restringir. Se o objetivo é a descoberta de pesquisa, use o controle relacionado à pesquisa do provedor. Se o objetivo é um treinamento específico opt-out, use o controle de treinamento documentado. Evite traduzir um objetivo de negócios amplo diretamente para uma longa lista copiada de um repositório aleatório.

Leia o resultado como um rastreador faria. Selecione o grupo de agentes relevante, aplique suas regras de localização e observe qualquer incerteza. Um arquivo contendo um nome não é automaticamente um bloco. Um caminho permitido não é a prova de que uma solicitação foi feita. Preservar tanto a resposta bruta quanto sua interpretação para que alguém possa reproduzir a verificação.

Depois de uma alteração, procure novamente o arquivo servido. Verifique se há seções gerenciadas por duplicatas e restrições não intencionadas em rastreadores de pesquisa comuns. Peça ao proprietário da plataforma para explicar uma regra que você não pode rastrear. Não prometa uma mudança de classificação imediata: um rastreador ainda precisa revisitar, e a descoberta não garante a seleção para uma resposta.

Para a aplicação real, inspecione os registros de pedidos de servidor ou borda com o método de verificação de bot apropriado. Uma string usuário- agente pode ser imitada. Referência CCBot da Common Crawl adverte explicitamente sobre a personificação e descreve informações de verificação. A mesma distinção geral importa sempre que um painel etiqueta tráfego usando apenas um nome de visitante reivindicado.

Mantenha os papéis de provedor em um pequeno registro de manutenção

Gravar o nome do bot, finalidade declarada, documentação oficial, data verificada, decisão atual e a pessoa ou sistema responsável por alterá-lo. Manter a observação histórica em uma coluna separada. Isso impede que a nova terminologia de um provedor de reescrever silenciosamente o que uma amostra antiga medido.

Guia do rastejante antrópico distingue a coleção modelo-desenvolvimento, recuperação dirigida pelo usuário e descoberta de busca. Orientação do rastejante da perplexidade também separa seu rastreador de pesquisa de um usuário de busca. Suas descrições atuais são controles úteis para consultar, não evidências de que cada solicitação histórica obedeceu a um arquivo.

Reveja o registro quando um provedor alterar sua documentação, quando sua plataforma de hospedagem mudar as configurações gerenciadas ou quando as solicitações observadas não corresponderem à sua expectativa. Não trate uma antiga lista de rastreadores como um limite de segurança permanente. Uma pequena lista de escolhas que você entende ser mais útil do que uma longa lista sem proprietário.

O próximo passo é inspecionar sua própria política declarada e identificar uma incerteza que valha a pena resolver. Nossa amostra histórica pode mostrar que existem declarações inconsistentes. Ela não pode decidir sua posição de licenciamento, prever uma visita ou substituir evidências do sistema que realmente serve suas páginas.