Votre liste de rampeurs d'IA peut toujours contenir des noms périmés.

Un nom dans robots.txt ne bloque pas nécessairement quoi que ce soit. Among 1,020 readable files in our historical publisher sample, 244 named AI crawlers. Of those, 167 also carried names classified as legacy by the registry used for that measurement. That is 167 / 244 = 68.4%, rounded to 68%.

Le dénominateur compte. Ce n'est pas 68% de tous les éditeurs, tous les sites échantillonnés, ou même tous les fichiers qui bloquent activement un rampeur courant. C'est la part dans les 244 fichiers qui ont nommé rampeurs.

Les noms et les règles efficaces sont des mesures différentes

L'échantillon enregistré sépare trois groupes :

Les deux dernières lignes ajoutent à 244. Leurs noms seuls ne vous indiqueraient pas à quel groupe un fichier appartient. Un bloc listant plusieurs agents utilisateurs au-dessus d'un Allow: / peut les nommer tous tout en permettant l'accès.

Il s'agit d'évaluations root-path. Un fichier peut aussi contenir des règles différentes pour un autre chemin. Nous n'avons pas testé chaque URL ni observé chaque requête de rampler.

Les Ensemble de données téléchargeables conserve séparément les jetons nommés, les jetons bloqués, les drapeaux de réseau et les drapeaux de nom d'héritage. Sa méthode identifie le cadre historique, les semences, les exclusions et la date de collecte.

Noms documentés anthropiques

Anthropiques sa propre documentation sur les rampeurs, vérifié à nouveau le 20 octobre 2026, distingue trois utilisations:

La même page ne contient pas de liste anthropic-ai ou claude-web. Le registre enregistré a marqué ces chaînes comme legs. Cette observation ne prouve pas qu'aucun logiciel ne les utilise encore, ou déterminer si un éditeur particulier , le travail atteint un modèle.

Dans cet instantané, 163 fichiers ont porté la première chaîne de caractères et 138 ont porté la deuxième. Ces catégories se chevauchent : les ajouter ferait double-compter les fichiers. ClaudeBot est 74, pas les 101 déjà mentionnés dans la présente note.

Le blocage d'une chaîne héritée ne signifie pas non plus qu'un fichier a omis le jeton actuel. Les deux peuvent se produire dans le même fichier. Nous retirons donc l'inférence antérieure selon laquelle la plupart des propriétaires croyaient qu'ils avaient bloqué Anthropic mais l'avaient laissé ouvert.

Ce que cela dit sur les renvois

Un contrôle de formation et un contrôle de récupération dirigé par l'utilisateur servent à des fins différentes. ChatGPT-User dans 121 dossiers et OAI-SearchBot Cette comparaison est entre deux jetons de récupération/de recherche; elle ne montre pas que les rampeurs de récupération ont été bloqués plus souvent que tous les rampeurs d'entraînement. GPTBot a été bloqué dans 206 dossiers.

Une politique robots.txt n'est pas une perte de trafic mesurée. Une demande réussie n'est pas la preuve que le contenu a été sous licence. Un jeton manquant n'est pas la preuve que chaque bot peut entrer: un pare-feu, une authentification ou une autre règle peut également contrôler l'accès.

Google fournit en outre une Contrôle de la console de recherche pour les fonctionnalités d'IA génératives de recherche. Il est séparé de Google-Extended, et son environnement de propriété privée ne peut pas être déterminé à partir de ce dossier public. outil de rampeur explique cette distinction sans deviner votre réglage ou estimer les clics manquants.

Un contrôle pratique

Lisez le jeton contre la documentation courante de l'opérateur, évaluez les règles pour le chemin que vous aimez, et consultez les journaux de serveur réels si vous avez besoin de savoir ce qui l'a récupéré. Enregistrez ces observations comme des observations séparées. Ne traduisez pas une liste de noms dans un opt-out universel AI, licencier le score de préparation ou les prévisions de revenus.

Niveau de preuve : A. L'historique de l'instantané de données primaires et la documentation actuelle de l'opérateur appuient les chiffres et les définitions indiqués, mais ils n'établissent pas l'adoption actuelle sur le Web, l'intention de l'utilisateur ou l'impact économique.

Un drapeau legs est une classification de recherche

Le mot legacy décrit comment le registre des rampeurs enregistrés a classé un jeton pour cette étude. Ce n'est pas une affirmation qu'une chaîne ne peut jamais apparaître dans une requête ou que chaque éditeur l'utilisant a fait une erreur.

Un opérateur peut renommer un drawler, conserver un ancien nom de compatibilité ou changer le rôle d'un produit. Les modèles tiers peuvent préserver les anciennes chaînes. Un logiciel en dehors du système documenté de l'opérateur peut également envoyer une valeur utilisateur-agent familière. Le nom public à lui seul n'identifie pas le demandeur.

Vérifiez la référence de l'opérateur actuel et le but de la règle avant de la supprimer. Ajouter un jeton documenté courant peut être approprié pour une politique choisie, mais supprimer un ancien sans comprendre la configuration environnante peut changer le comportement que vous avez voulu préserver.

La revendication de recherche utile est plus étroite : ces fichiers historiques contenaient des chaînes classées de cette manière. La question de maintenance utile est de savoir si les règles en direct expriment encore les choix actuels de l'éditeur.

Le même nom peut apparaître dans une règle d'autorisation

Un nombre de noms détecte une mention explicite. Il ne permet pas d'évaluer si le rampeur pertinent peut récupérer un chemin particulier. Un groupe peut nommer plusieurs agents et autoriser la racine, bloquer un répertoire plus étroit ou inclure des règles plus spécifiques.

Les Protocole d'exclusion des robots définit les groupes et les correspondances de chemin. Un analyseur doit évaluer les règles applicables plutôt que de traiter le texte User-agent suivi d'un nom connu comme un bloc.

Pour un exemple choisi, un site donne le nom d'un drawer documenté, mais utilise une règle de permis pour la racine. Le nom apparaît dans une recherche de texte alors que la politique de racine évaluée permet l'accès. Un autre site peut omettre ce nom explicite mais appliquer un bloc de caractères. Une recherche de nom seulement manquerait cette restriction effective.

Ces exemples expliquent pourquoi les jetons nommés et les blocs de racine résolus sont des champs dataset séparés. Une interface utile devrait préserver cette distinction, surtout quand un visiteur s'attend à ce qu'ils soient trouvés dans robots.txt.

L’accès à la racine ne représente pas toutes les URL

Un test root-path demande au sujet du site / chemin. Une publication peut permettre la racine tout en limitant une archive ou un autre répertoire. Elle peut également utiliser une exception plus spécifique pour un chemin en dessous d'une restriction plus large.

Si la décision concerne un article, évaluez le chemin de cet article. Si elle concerne une collection, inspectez les chemins représentatifs et expliquez l'échantillon. Ne transformez pas une évaluation racine en une déclaration selon laquelle chaque page a la même politique.

L'étude historique rapporte intentionnellement des blocs de niveau racine pour la comparaison. Cela rend son unité reproductible. Il limite également ce qui peut être déduit sur les URL de contenu individuel. Un score de politique qui cache le chemin testé perdrait une partie importante de la méthode.

Le comportement de chemin peut changer lorsqu'un site migre sa structure d'URL. /blog/ ne peut plus couvrir les articles déplacés ailleurs. Conserver la portée de contenu prévue dans le dossier de maintenance plutôt que la liste des agents.

La recherche, la formation et la recherche d'utilisateur nécessitent des choix séparés

La référence du rampeur d'OpenAI distinguishes GPTBot, OAI-SearchBot and ChatGPT-User by purpose. Search discovery is not the same operation as collecting training material or retrieving a page at a person's request.

Documentation sur les rampeurs de perplexité Les opérateurs peuvent décrire différentes manipulations pour les requêtes déclenchées par l'utilisateur, de sorte que ne pas supposer que chaque jeton suit un modèle de contrôle identique.

Un éditeur peut choisir délibérément des politiques différentes pour ces utilisations. Le blocage d'un jeton et l'autorisation d'un autre n'est pas automatiquement contradictoire. Il peut refléter un désir de rester découvrable tout en limitant une autre utilisation.

La recherche ne choisit pas cette politique pour chaque site. Elle aide à déterminer quelle règle déclarée s'applique à quel but documenté. Une liste copiée d'une autre publication ne peut pas fournir votre propre décision sur la découverte, la licence ou l'accès public.

Garder la déclaration, l'observation et l'exécution séparément

Un fichier de robots indique une préférence pour les clients qui suivent les règles pertinentes. Les journaux de serveur montrent les requêtes observées dans les conditions de l'enregistrement. Une règle d'accès de bord ou d'application peut refuser ou autoriser des requêtes.

If you need to know whether a crawler visited, inspect logs and verify the requestor where the operator provides a method. User-agent text alone can be spoofed. A request carrying a famous name is not automatically an authenticated visit from that company.

Si vous avez besoin de savoir si l'accès a été refusé, examinez la réponse réelle ou les journaux d'application. Une interdiction déclarée ne prouve pas un bloc de bord, et un bloc de bord ne révèle pas nécessairement une préférence de robot correspondante.

Enfin, aucune de ces observations ne prouve à elle seule ce qu'un modèle a utilisé par la suite à l'interne. Une récupération réussie n'est pas un reçu de formation. Une demande refusée ne prouve pas qu'aucune autre source ne contient de matériel similaire.

Reproduire le pourcentage avec son dénominateur réel

The headline uses one hundred sixty-seven files divided by two hundred forty-four files that explicitly named evaluated AI crawlers. That gives about 68.4%. Dividing the same numerator by all one thousand twenty readable files gives about 16.4%.

Les deux résultats arithmétiques peuvent être calculés, mais ils décrivent différents groupes. Le titre de l'article est conditionnel au sous-ensemble de nommage. Ce n'est pas la part de l'ensemble du cadre éditeur.

L'échantillon a également commencé avec mille deux cents domaines tirés, qui n'ont pas tous donné un fichier de robots lisibles. Un décompte basé sur des réponses lisibles n'établit pas la politique des domaines exclus. Ne pas attribuer une réponse manquante au groupe autorisant simplement parce qu'aucun bloc n'a été observé.

Le même soin s'applique aux noms d'héritage qui se recoupent. Un fichier peut porter les deux chaînes, de sorte que leurs nombres individuels ne peuvent pas être ajoutés pour récupérer le nombre de fichiers distincts transportant l'un ou l'autre. Utilisez l'union de niveau de ligne ou le nombre distinct publié.

Ce qu'un modèle partagé peut et ne peut pas expliquer

Le texte répété dans les fichiers peut être la preuve d'un modèle ou d'un générateur commun. Il n'établit pas le chemin exact d'installation, que le propriétaire l'ait examiné ou pourquoi il reste en place.

Un éditeur peut avoir sciemment accepté un défaut de fournisseur. Un autre peut l'avoir édité. Un troisième peut avoir copié une partie du fichier à partir d'un guide. Sans entrevues, changement d'historique ou autre preuve directe, l'attribution d'intention surestimerait l'instantané.

Par exemple, un fournisseur pourrait clarifier la portée du produit d'un contrôle ou montrer le jeton actuel documenté à côté du réglage. Il s'agit d'améliorations possibles et non de causes mesurées des dénombrements historiques.

Si vous gérez plusieurs sites, inspectez les fichiers finals déployés plutôt que de supposer que le même paramètre crée des sorties identiques partout. Différentes versions de plugin, code thématique ou règles d'hébergement peuvent affecter le résultat. Enregistrez le générateur et la version où vous le connaissez.

Un dossier pratique d'entretien des politiques de rampeurs

Énumérez le produit ou l'utilisation que vous souhaitez gérer, le jeton actuel de l'opérateur, les chemins prévus, l'URL source et la date cochée. Ajoutez la règle publique effective et toute couche d'application distincte que vous utilisez.

Marquer des inconnus. Si vous ne savez pas qui génère une section, examinez avant de l'éditer manuellement. Si la documentation de l'opérateur n'est pas claire au sujet d'une recherche dirigée par l'utilisateur, enregistrez cette ambiguïté plutôt que de revendiquer un opt-out universel.

Après avoir modifié une règle, inspectez la réponse en direct. Vérifiez qu'il s'agit du fichier prévu plutôt qu'une page HTML ou une version en cache. Confirmez que les ressources de recherche, d'image ou d'application non liées n'ont pas été accidentellement restreintes.

Conservez une copie de la configuration antérieure et un chemin de retour. Un grand changement de joker peut affecter plus que le produit d'IA nommé. Un objectif de politique étroit ne devrait pas briser involontairement la découverte ordinaire ou le rendu de page.

Ne pas estimer la perte de trafic d'un compte de jetons

La différence historique entre les jetons bloqués ne nous indique pas combien de visites seraient autrement arrivées. Pour estimer les effets de référence, vous auriez besoin d'observations réelles de la circulation, d'une comparaison appropriée et d'hypothèses sur d'autres changements.

Une augmentation ou un déclin ultérieur des visites peut coïncider avec une modification de politique alors que la demande de recherche, le contenu, le classement ou le produit lui-même change également.

Garder les impressions, les clics, les sessions et les revenus distincts. Être mentionné dans une réponse n'est pas la même chose que recevoir une visite, et une visite n'est pas la même qu'une session ad-abouting.

Les outil de rampeur public Il ne peut pas récupérer les paramètres privés de Search Console, authentifier chaque demande ou calculer les revenus manquants à partir d'une liste de robots. Ces limites devraient voyager avec toute recherche que vous partagez.

Transformer l'audit en une prochaine action claire

Si le jeton est à jour et que la règle effective correspond à votre objectif, conservez le dossier de preuve et examinez-le après les changements d'opérateur pertinents. Si un jeton legs est la seule expression d'un objectif actuel, vérifiez le remplacement documenté et testez la politique prévue. Si le fichier est généré ailleurs, modifiez la configuration de propriétaire et vérifiez le déploiement.

Ne supprimez pas les contrôles simplement pour rendre un score d'audit plus vert. Décidez d'abord le but. Un bloc délibéré peut être correct pour l'éditeur même s'il réduit un itinéraire de découverte.

Le résultat le plus fort est une politique compréhensible: ce qui est permis, ce qui est restreint, pour quelle utilisation et ce que le test a effectivement observé. C'est plus utile qu'une longue liste de noms héritée présentée comme une protection complète de chaque système d'IA.

Conservez les versions source pour que les futures vérifications puissent reproduire cette politique.