Ensemble de données

Which AI crawlers 1,020 small ad-funded publishers name and block in robots.txt

Historical robots.txt policies from 1,020 readable files in a sample drawn from a 16,076-domain advertising-network frame. Named tokens, resolved site-root blocks, legacy-name flags and template markers are separate fields. In the saved snapshot, 244 of them named evaluated crawlers: 216 blocked at least one at the root and 28 blocked none. Of the 244, 167 also carried legacy-name flags. These observations describe public file contents, not owner intent, actual crawler compliance, lost referrals, model training or licensing income. The source was collected on 2026-09-02; descriptions and denominators were clarified on 2026-10-20.

• 16,076 domains in the frame
• 1,200 domains drawn
• 1,020 readable files
• 9 rampeurs d'IA résolus contre chacun

Couverture

2026-09-02

Dernière mise à jour

2026-10-20

Licence

CC BY 4.0

DOI

10.5281/zenodo.22280370

Quelle rangée !

Un éditeur de fichier robots.txt: ce que l'IA ramponne il le nom, qu'il bloque en fait, qui le nom qu'il porte qu'aucun document de fournisseur, et dont le modèle a été écrit à partir.

Sujets

robots.txt, glissières d'IA, GPTBot, ChatGPT-User, ClaudeBot, CCBot, Google-Extended, glissière de blocage, glissière de formation d'IA opt-out, éditeurs web, RFC 9309

Télécharger l'échantillon de données publiques1,020 rows · 8 columns · CSV · no account, no email

Lisez le résultat de cette enquête.Vos règles de l'IA peuvent bloquer un visiteur que vous vouliez.

Comment citer ceci

Utilisez-le commercialement, changez-le, faites-en usage. La seule condition est le crédit, et un lien le satisfait.

Ce que vous devez savoir sur ces données

• Il s'agit de petites entreprises de contenu financées par la publicité sur deux réseaux publicitaires, qui ne sont pas le web. Un éditeur sans réseau publicitaire n'est pas du tout dans le cadre, et les grands éditeurs que tous les autres chiffres publiés viennent de se comporter complètement différemment.
• Un fichier qui n'a pas pu être récupéré est un fait sur un pare-feu, pas une politique. Les 180 domaines qui ont refusé sont laissés hors du dénominateur plutôt que comptés comme silencieux.
• Les catégories ne sont pas une partition et ne doivent pas être additionnées. Un fichier qui bloque un rampeur qui aurait cité aussi bloque au moins un rampeur, et porte souvent des noms que quelqu'un d'autre a écrit. Les ajouter donne un nombre plus grand que l'échantillon.
• Nous avons vérifié chaque nom contre son prétendu opérateur , la propre liste de rampeurs publiée. Documents anthropologiques ClaudeBot, Claude-User et Claude-SearchBot, et ni anthropique-ai ni claude-web n'est parmi eux — mais aucun vendeur ne publie un avis de retraite, donc ce que nous pouvons montrer est qu'un éditeur nomme quelque chose que l'opérateur ne liste pas, pas que rien ne lui répond.
• Un marqueur de fournisseur dit qu'une partie du fichier n'a pas été écrite par l'éditeur. Il ne dit pas que les règles de l'IA en particulier provenaient du vendeur — un bloc Yoast ne contient généralement aucune règle de l'IA.
• Les domaines sont omis du téléchargement. Le cadre, les semences et la méthode publiés permettent de redessiner l'échantillon; l'omission n'est pas une garantie contre la réidentification.

Comment elle a été mesurée

1,200 domains were drawn once from the 16,076 the two networks publish about themselves, ranked by a hash of a published seed and the domain name, so that anyone can redraw the same sample. The nightly crawler fetched each robots.txt on a single complete pass; 1,020 answered and 180 refused or could not be reached, and the ones that could not be reached are excluded from the denominator rather than counted as saying nothing, which would have moved the headline in the direction that flatters it. Each file was then resolved rather than searched: the rules that reach a named crawler at the site root, worked out by the grouping rules the robots.txt standard sets out, because a file that stacks thirty crawler names above one permissive block has authorised all thirty. Rows are in the order the source holds them, which is alphabetical by domain with the domain removed — unrelated to anything measured, so any run of rows from it is a fair slice of the whole.

Le résumé

The first 60 of 1,020 rows. The download has all of them. Free to use with credit, commercially included.

Ce que signifie chaque colonne

réseau

Le réseau publicitaire dont la liste de clients publiée le domaine a été tiré de

_Crawlers

Combien d'IA actuels rampeurs les noms de fichiers du tout, qu'il les bloque ou non

blocs_croyeurs

Combien d'entre eux il bloque en fait à la racine du site, une fois le fichier est résolu

Nom _des jetons

Les rampeurs les noms de fichiers, séparés par des point-virgules

_jetons bloqués

Les rampeurs les blocs de fichiers, séparés par des semi-colons

bloc_citation_crawler

oui quand au moins un rampeur bloqué est celui qui récupère une page pour répondre à une question et liens retour

_Jetons retraités

Noms dans le fichier qu'aucun fournisseur ne documente actuellement, séparés par des point-virgules. Pas une revendication que le rampeur a cessé de fonctionner — seulement que son supposé opérateur ne l'énumère pas

_template du fournisseur

L'outil ou le réseau dont le bloc marqué apparaît dans le fichier, où on fait

← Chaque ensemble de données