Um nome em robots.txt não necessariamente bloqueia nada. Among 1,020 readable files in our historical publisher sample, 244 named AI crawlers. Of those, 167 also carried names classified as legacy by the registry used for that measurement. That is 167 / 244 = 68.4%, rounded to 68%.
O denominador importa. Isto não é 68% de todos os editores, todos os sites amostrados, ou até mesmo todos os arquivos que bloqueiam ativamente um rastreador atual. É a partilha dentro dos 244 arquivos que nomearam rastreadores.
Nomes e regras eficazes são medições diferentes
A amostra salva separa três grupos:
| Estado do arquivo observado | Arquivos | Share of the 1,020 readable files |
|---|---|---|
| Nome não avaliado AI crawler | 776 | 76.1% |
| Nomeados rastreadores e bloqueados pelo menos um na raiz do local | 216 | 21.2% |
| Nomeados rastreadores, mas nenhum bloqueado na raiz do site | 28 | 2.7% |
As duas últimas linhas adicionam 244. Os seus nomes, por si só, não lhe diriam a que grupo pertence um arquivo. Um bloco que lista vários agentes de usuário acima de uma Allow: / pode nomear todos eles enquanto permite o acesso.
Estas são avaliações de root-path. Um arquivo também pode conter regras diferentes para outro caminho. Nós não testamos cada URL ou observamos todas as solicitações do rastreador.
A Conjunto de dados para download retém fichas nomeadas, fichas bloqueadas, bandeiras de rede e nomes legados separadamente. Seu método identifica o quadro histórico, semente, exclusões e data de coleta. Um quadro de listas de editores financiados por publicidade não é uma amostra representativa de toda a web.
Nomes documentados do Antrópico
Antrópicos documentação própria do rastreador, verificado novamente em 20 de outubro de 2026, distingue três utilizações:
| Token | Utilização descrita pelo operador |
|---|---|
ClaudeBot | Coletar conteúdo que pode contribuir para a formação de modelos |
Claude-User | Obtendo conteúdo na direção de um usuário |
Claude-SearchBot | Melhorar a qualidade dos resultados de pesquisa |
A mesma página não lista anthropic-ai ou claude-web. O registro salvo marcou essas strings como legado. Essa observação não prova que nenhum software ainda as usa, ou estabelece se o trabalho de um determinado editor alcançou um modelo.
Neste instantâneo, 163 arquivos carregaram o primeiro texto legado e 138 carregaram o segundo. Estas categorias sobrepõem- se: a adição deles contaria em dobro os arquivos. A conta de tamanho atual resolvida para ClaudeBot é 74, não o 101 anteriormente indicado nesta nota.
Bloquear um texto legado também não implica que um arquivo omitiu o token atual. Ambos podem ocorrer no mesmo arquivo. Portanto, retiramos a inferência anterior de que a maioria dos proprietários acreditava que tinham bloqueado Anthropic, mas o deixaram aberto. Nem as crenças do proprietário nem a conformidade do rastreador foram medidas.
O que isso diz sobre encaminhamentos
Um controle de treinamento e um controle de recuperação dirigido pelo usuário servem para diferentes propósitos. ChatGPT-User em 121 arquivos e OAI-SearchBot em quatro. Essa comparação é entre dois tokens de recuperação/pesquisa; não mostra que os crawlers de recuperação foram bloqueados mais frequentemente do que todos os crawlers de treinamento. Por exemplo, GPTBot foi bloqueado em 206 arquivos.
Uma política robots.txt não é uma perda de tráfego medida. Uma solicitação bem- sucedida não é a prova de que o conteúdo foi licenciado. Um token em falta não é a prova de que cada bot pode entrar: um firewall, autenticação ou outra regra também pode controlar o acesso.
O Google fornece ainda um Controle do console de pesquisa para recursos de IA generativos de pesquisa. Está separado de Google-Extended, e sua configuração de propriedade privada não pode ser determinada a partir deste arquivo público. ferramenta de rastreamento explica essa distinção sem adivinhar sua configuração ou estimar cliques em falta.
Uma verificação prática
Leia o token contra a documentação atual do operador, avalie as regras para o caminho que você se importa e inspecione os registros reais do servidor se você precisar saber o que foi obtido. Grave-os como observações separadas. Não traduza uma lista de nomes em uma opção universal de saída de IA, pontuação de prontidão de licenciamento ou previsão de receita.
Grau de evidência: A. O snapshot de dados primários históricos e a documentação atual do operador suportam as contagens e definições declaradas. Eles não estabelecem a adoção atual através da web, intenção do usuário ou impacto econômico.
Uma bandeira legada é uma classificação de pesquisa
O legado da palavra descreve como o registro de rastreamento salvo classificou um token para este estudo. Não é uma afirmação que uma string nunca possa aparecer em um pedido ou que cada editor que o usa tenha cometido um erro.
Um operador pode renomear um rastreador, manter um nome antigo de compatibilidade ou alterar o papel de um produto. Modelos de terceiros podem preservar strings antigas. Software fora do sistema documentado do operador também pode enviar um valor conhecido de usuário- agente. O nome público sozinho não identifica o solicitante.
Verifique a referência atual do operador e o propósito da regra antes de a excluir. Adicionar um token documentado atual pode ser apropriado para uma política escolhida, mas remover um antigo sem entender a configuração ao redor pode mudar o comportamento que você pretende preservar.
A alegação de pesquisa útil é mais estreita: esses arquivos históricos continham strings classificadas desta forma. A questão de manutenção útil é se as regras ao vivo ainda expressam as escolhas atuais do editor.
O mesmo nome pode aparecer em uma regra de permissão
Uma contagem de nomes detecta uma menção explícita. Ela não avalia se o rastreador relevante pode obter uma localização específica. Um grupo pode nomear vários agentes e permitir a raiz, bloquear uma pasta mais estreita ou incluir regras mais específicas.
A Protocolo de Exclusão de Robôs define grupos e caminho correspondente. Um analisador precisa avaliar as regras aplicáveis em vez de tratar o texto User-agent seguido de um nome conhecido como bloco.
Para um exemplo escolhido, um site nomeia um rastreador documentado, mas usa uma regra de permissão para o root. O nome aparece em uma pesquisa de texto enquanto a política de raiz avaliada permite o acesso. Outro site pode omitir esse nome explícito, mas aplicar um bloco de caracteres. Uma pesquisa somente por nome perderia essa restrição efetiva.
Esses exemplos explicam porque os tokens e os blocos de raiz resolvidos são campos separados de conjuntos de dados. Uma interface útil deve preservar essa distinção, especialmente quando um visitante espera que “encontrado em robots.txt” signifique “bloqueado”.
O acesso à raiz não representa todas as URL
Um teste de root-path pergunta sobre o site / caminho. Uma publicação pode permitir o root enquanto restringe um arquivo ou outro diretório. Ele também pode usar uma exceção mais específica para um caminho abaixo de uma restrição mais ampla.
Se a decisão diz respeito a um artigo, avalie o caminho desse artigo. Se diz respeito a uma coleção, inspecione caminhos representativos e explique a amostra. Não transforme uma avaliação de raiz em uma declaração de que cada página tem a mesma política.
O estudo histórico relata intencionalmente blocos de nível raiz para comparação, o que torna sua unidade reprodutível. Também limita o que pode ser inferido sobre URLs de conteúdo individuais. Um escore de política de rastreamento que esconde o caminho testado perderia uma parte importante do método.
O comportamento do caminho pode mudar quando um site migra sua estrutura de URL. Uma regra que uma vez aplicada a /blog/ pode não mais cobrir artigos movidos para outro lugar. Mantenha o escopo de conteúdo pretendido no registro de manutenção em vez de apenas a lista de agentes.
Pesquisa descoberta, treinamento e busca de usuários precisam de escolhas separadas
Referência do rastreador do OpenAI distinguishes GPTBot, OAI-SearchBot and ChatGPT-User by purpose. Search discovery is not the same operation as collecting training material or retrieving a page at a person's request.
Documentação do rastreador de perplexidade do mesmo modo, distingue seu rastreador de busca de busca de buscas solicitadas pelo usuário. Os operadores podem descrever diferentes manuseios para solicitações desencadeadas pelo usuário, então não assumam que cada token segue um modelo de controle idêntico.
Um editor pode deliberadamente escolher políticas diferentes para esses usos. Bloquear um token e permitir que outro não seja automaticamente contraditório. Ele pode refletir um desejo de permanecer detectável, limitando outro uso.
A pesquisa não escolhe essa política para cada site. Ela ajuda a identificar qual regra declarada se aplica a qual finalidade documentada. Uma lista copiada de outra publicação não pode fornecer sua própria decisão sobre descoberta, licenciamento ou acesso público.
Manter a declaração, observação e execução separadas
Um arquivo de robôs indica uma preferência para clientes que seguem as regras relevantes. Os registros do servidor mostram solicitações observadas sob as condições de registro. Uma regra de acesso de borda ou aplicativo pode negar ou permitir solicitações. Estas são camadas relacionadas, não evidências intercambiáveis.
If you need to know whether a crawler visited, inspect logs and verify the requestor where the operator provides a method. User-agent text alone can be spoofed. A request carrying a famous name is not automatically an authenticated visit from that company.
Se você precisa saber se o acesso foi negado, examine os registros de resposta ou de execução reais. Um cancelamento declarado não prova um bloco de borda, e um bloco de borda não necessariamente revela uma preferência de robô correspondente.
Finalmente, nenhuma dessas observações prova o que um modelo usado posteriormente internamente. Uma busca bem-sucedida não é um recibo de treinamento. Um pedido negado não é prova de que nenhuma outra fonte contém material similar. Mantenha as reivindicações no nível que as evidências disponíveis suportam.
Reproduza o percentual com seu denominador real
The headline uses one hundred sixty-seven files divided by two hundred forty-four files that explicitly named evaluated AI crawlers. That gives about 68.4%. Dividing the same numerator by all one thousand twenty readable files gives about 16.4%.
Ambos os resultados aritméticos podem ser calculados, mas eles descrevem grupos diferentes. O título do artigo está condicionado ao subconjunto de nomes. Não é a partilha de todo o quadro do editor.
A amostra também começou com mil duzentos domínios desenhados, nem todos os quais renderam um arquivo de robôs legíveis. Uma contagem baseada em respostas legíveis não estabelece a política de domínios excluídos. Não atribuir uma resposta em falta ao grupo permitido simplesmente porque nenhum bloco foi observado.
O mesmo cuidado aplica- se aos nomes legados sobrepostos. Um ficheiro pode carregar ambas as cadeias de caracteres, pelo que as suas contagens individuais não podem ser adicionadas para recuperar o número de ficheiros distintos que os carregam. Use a união de nível de linha ou a contagem distinta publicada.
O que um modelo compartilhado pode e não pode explicar
Texto repetido entre arquivos pode ser evidência de um modelo ou gerador comum. Ele não estabelece o caminho exato de instalação, se o proprietário reviu ou por que ele permanece no local.
Um editor pode ter aceitado conscientemente um padrão de um fornecedor. Outro pode tê- lo editado. Um terceiro pode ter copiado parte do arquivo de um guia. Sem entrevistas, alterar o histórico ou outras evidências diretas, atribuir a intenção iria sobrepor o instantâneo.
Use padrões de modelo para decidir onde a orientação de manutenção pode ajudar. Por exemplo, um provedor pode tornar o escopo do produto de um controle mais claro ou mostrar o token documentado atual ao lado da configuração. Essas são possíveis melhorias, não as causas medidas das contagens históricas.
Se você gerenciar vários sites, inspecione os arquivos finais implantados em vez de assumir que a mesma configuração cria saídas idênticas em todos os lugares. Diferentes versões de plugins, código de tema ou regras de hospedagem podem afetar o resultado. Grave o gerador e a versão onde conhecido.
Um registro prático de manutenção de política de rastreamento
Liste o produto ou use que deseja gerenciar, o token atual do operador, os caminhos pretendidos, o URL de origem e a data marcada. Adicione a regra pública efetiva e qualquer camada de execução separada que você usar.
Marcar desconhecidos. Se você não sabe quem gera uma seção, investigue antes de editá- la manualmente. Se a documentação do operador não estiver clara sobre uma busca direcionada pelo usuário, registre essa ambiguidade em vez de reivindicar uma saída universal.
Depois de alterar uma regra, inspeccione a resposta ao vivo. Verifique se é o arquivo pretendido em vez de uma página HTML ou uma versão em cache. Confirme que os recursos de pesquisa, imagem ou aplicação não relacionados não foram acidentalmente restritos.
Mantenha uma cópia da configuração anterior e de um caminho de retrocesso. Uma mudança ampla de caracteres pode afetar mais do que o produto chamado IA. Um objetivo de política estreita não deve involuntariamente quebrar a descoberta ou renderização de páginas comuns.
Não estimar o tráfego perdido a partir de um número de fichas
A diferença histórica entre tokens bloqueados não nos diz quantas visitas teriam chegado de outra forma. Para estimar efeitos de referência, você precisaria de observações de tráfego reais, uma comparação adequada e suposições sobre outras mudanças.
Um aumento ou declínio posterior nas visitas pode coincidir com uma edição de política enquanto a demanda de pesquisa, conteúdo, classificação ou o próprio produto também muda. Um gráfico comum antes e depois não pode isolar o efeito de política automaticamente.
Manter impressões, cliques, sessões e receita distintas. Ser mencionado em uma resposta não é o mesmo que receber uma visita, e uma visita não é o mesmo que uma sessão ad-ganhar. Um pedido de rastreamento é outra unidade novamente.
A Ferramenta pública de rastreamento pode ajudar a inspecionar a política visível e o contexto histórico. Não pode recuperar as configurações privadas do Console de pesquisa, autenticar cada pedido ou calcular a receita em falta de uma lista de robôs. Esses limites devem viajar com qualquer achado que você compartilhe.
Transforme a auditoria numa acção próxima clara
Se o token estiver atual e a regra eficaz corresponder ao seu objetivo, mantenha o registro de evidências e revisá- lo após as mudanças relevantes do operador. Se um token legado for a única expressão de um objetivo atual, verifique a substituição documentada e teste a política pretendida. Se o arquivo for gerado em outro lugar, altere a configuração própria e verifique a implantação.
Não remova os controles apenas para tornar um escore de auditoria mais verde. Decida o propósito primeiro. Um bloco deliberado pode ser correto para o editor, mesmo que reduza uma rota de descoberta. Uma permissão deliberada também pode estar correta quando se encaixa nos objetivos da publicação.
O resultado mais forte é uma política compreensível: o que é permitido, o que é restrito, para qual uso e o que o teste realmente observado. Isso é mais útil do que uma longa lista de nomes herdados apresentado como proteção completa de todos os sistemas de IA.
Mantenha as versões de origem para que as verificações futuras possam reproduzir essa política.