Votre analyse commence ici.
Qui lit votre site
Êtes-vous inhabituel dans ce que vous laissez lire les compagnies d'IA?
Explorer les données et les méthodes · Comment fonctionnent les outils
Qui lit votre site
Êtes-vous inhabituel dans ce que vous laissez lire les compagnies d'IA?
Sources et limites
Votre propre dossier
Lisez votre site à partir de la Aperçu général et nous allons marquer vos propres rangées ci-dessous.
Vos robots.txt est un fichier court à l'avant de votre site qui indique aux visiteurs automatisés ce qu'ils peuvent lire. Chacun de ces visiteurs est appelé un rampeur et arrive sous son propre nom. Rien sur le vôtre n'est envoyé n'importe où: nous lisons dans votre navigateur à partir de la lecture conservée sur cet appareil.
Ce que montrent les fichiers de 1,020 éditeurs
Nous avons tiré au sort 1,200 domaines parmi les 16,076 figurant sur les listes publiques de deux réseaux publicitaires, puis lu leur fichier robots.txt. Pour 180 domaines, aucun fichier lisible n’a été obtenu. Ils sont exclus du calcul, et non considérés comme autorisant tout accès.Ces 7 rangées se chevauchent. Un fichier qui bloque un robot susceptible de le citer bloque aussi au moins un robot. Il s’agit donc de 7 lectures des mêmes 1,020 fichiers, et non de 7 groupes distincts. Leur somme dépasse la taille de l’échantillon.
- 776of 1,020Aucun nom de rampeur d'IA documenté détecté. Les règles générales de robots.txt peuvent encore s'appliquer; cela ne permet pas à lui seul d'établir la permission de formation, l'admissibilité aux citations ou l'accès réel.Votre site fait cela
- 216of 1,020Bloquez au moins un rampeur d'IA de la page d'accueil.Votre site fait cela
- 123of 1,020Bloquez au moins un rampeur qui leur aurait envoyé le lecteur — le genre qui récupère une page parce que quelqu'un a posé une question qu'il répond, et puis des liens retour.Votre site fait cela
- 28of 1,020Le fichier est lu en blocs — les noms d'abord, puis les règles qui s'appliquent à eux — donc une liste de noms assis au-dessus d'une règle qui permet tout permet chaque nom sur elle.Votre site fait cela
- 167of 1,020Nommez au moins un rampeur qui apparaît dans aucune documentation actuelle de l'entreprise, de sorte que cette ligne ne cache rien.Votre site fait cela
- 23of 1,020Nommer seulement les rampeurs qui n'existent plus. Rien n'est exclu du tout, et le fichier se lit comme une protection pour quiconque l'ouvre.Votre site fait cela
- 305of 1,020Porter une section un outil ou un réseau publicitaire écrit et signé avec son propre nom, de sorte que ces lignes ne sont pas le libellé de l'éditeur.Votre site fait cela
Bloqué, rampant par rampant
Les mêmes 1,020 fichiers sont utilisés. Le choix du robot bloqué diffère du nombre de robots bloqués : certains collectent des pages pour entraîner un modèle, ce qui concerne les droits d’utilisation ; d’autres consultent une page pour répondre à une question, ce qui concerne les visites.
Les deux lignes qui valent la peine d'être lues ensemble sont les OpenAI. ChatGPT-User Il récupère une page parce que quelqu'un lui a posé une question, et la réponse renvoie des liens; OAI-SearchBot sert uniquement à la recherche. Dans ces fichiers, 121 bloquent le premier et 4 bloquent le second : 11.9% contre 0.4%. L’écart est au moins d’un facteur dix, mais l’échantillon ne permet pas une estimation précise : avec quatre cas, le rapport pourrait aller d’environ dix à bien plus de cent.
- GPTBotRecueille des pages pour former un modèle206 of 1,020
- CCBotRecueille des pages pour former un modèle201 of 1,020
- ChatGPT-UserRéponses à une question, et liens en arrière121 of 1,020
- Google-ExtendedRecueille des pages pour former un modèle89 of 1,020
- ClaudeBotRecueille des pages pour former un modèle74 of 1,020
- PerplexitéBotRéponses à une question, et liens en arrière7 of 1,020
- OAI-SearchBotRéponses à une question, et liens en arrière4 of 1,020
- Claude-UtilisateurRéponses à une question, et liens en arrière2 of 1,020
- Claude-SearchBotRéponses à une question, et liens en arrière2 of 1,020
C'est une preuve.
Les 1,020 fichiers représentent uniquement ces 1,020 fichiers. Ils proviennent de petits sites financés par la publicité sur deux réseaux, pas de l’ensemble du Web ni des grands éditeurs ayant signé des accords avec des sociétés d’IA. Les éditeurs sans réseau publicitaire sont absents de la liste. Le tirage utilise un mot de départ fixe (plainreckoner) plutôt que le hasard, donc n'importe qui peut le répéter et obtenir les mêmes domaines, et chaque réseau a reçu la même part de l'échantillon qu'il a de la liste. Mesure 2026-09-02.
La première mesure date du 2026-09-01, avec 106 fichiers ; la nouvelle porte sur 1,020 fichiers. Le constat général reste le même : aucune règle sur les robots d’IA dans 76% des cas auparavant, contre 76.1% maintenant. Les modèles de fichier repris ailleurs passent de 34% à 29.9%. La précision s’améliore : environ huit points d’incertitude de chaque côté avec 106 fichiers, contre deux ou trois avec 1,020. Les lignes les plus rares reposent encore sur deux ou quatre fichiers et restent peu précises.
Une qualification, et elle vient de l'entreprise elle-même. De la rampeur qui récupère une page parce que quelqu'un a posé une question, OpenAI écrit:Comme ces actions sont initiées par un utilisateur, les règles robots.txt peuvent ne pas s'appliquer.
Donc, les comptes ci-dessus sont ce que les fichiers SAY, qui est ce que nous mesurons et tout ce que nous prétendons. Si chaque entreprise agit sur ce qu'un dossier dit est une question séparée, et la réponse honnête est que nous ne l'avons pas mesuré.
Les deux réseaux ne se ressemblent pas, c'est pourquoi l'échantillon est tiré pour correspondre à la liste plutôt que simplement en prenant ce qu'un rampeur atteint en premier. Raptive représente 43.5% de la liste et 42.4% des fichiers lus ; 60% de ses fichiers ne mentionnent pas les robots d’IA. Mediavine représente 56.5% de la liste et 57.6% des fichiers lus ; 88% de ses fichiers ne mentionnent pas les robots d’IA. Pondérer chaque réseau à sa part de la liste plutôt que sa part des fichiers qui ont répondu déplace chaque chiffre ci-dessus de moins d'un demi-point.
Ce que chaque fichier permet est élaboré plutôt que recherché. Le fichier est lu en blocs — une ou plusieurs lignes nommant des rampeurs, puis les règles qui s'appliquent à eux — donc un fichier empilant trente noms au-dessus d'une seule règle qui permet tout a permis tous les trente.
Recherche Google de contrôle de l'IA est séparé de robots.txt
Google-Extended contrôle séparément la formation et d'autres utilisations de l'IA; le blocage ne définit pas ce choix de la console de recherche.
Ce scan public ne peut pas lire ce paramètre privé, vos impressions d'IA, la conformité réelle des rampeurs ou les revenus de licence. Les rapports d'IA dédiés décrivent la visibilité; les impressions seules ne révèlent pas les clics perdus ou ce qui se serait passé dans un cadre différent.Lire la documentation de contrôle de Googleet son annonce de rapport AI.
Les règles déclarées, les requêtes réelles et le blocage sont différents
Cet outil lit les règles publiées. Pour savoir si un robot est venu ou a été bloqué, consultez les journaux de votre serveur ou de votre service réseau. Cloudflare propose paramètres actuels du robot AI distinguent les usages de recherche, d’agent et d’entraînement. Les réglages par défaut des nouveaux domaines ont changé le 15 septembre 2026 ; les robots à usages multiples demandent une attention particulière. Une lecture de robots.txt ne vérifie pas vos réglages Cloudflare et ne bloque aucun accès.
Mesurer la visibilité de l'IA dans votre propre console de recherche
- Ouvrez le rapport de performance Generative AI pour votre propriété vérifiée. Choisissez une plage de dates, un appareil et une portée pays.
- Exportez les tableaux Dates et Pages séparément sous la forme CSV. Conservez les totaux des propriétés séparément des totaux des pages; leur agrégation diffère.
- Comparez les mêmes dates dans le rapport de résultats de recherche habituel. Gardez les impressions et les clics séparés. Les impressions d'IA ne sont pas des visites supplémentaires et ne devraient pas être ajoutées aux totaux de recherche qui se chevauchent.
- Si disponible, comparez le Web: texte et Web: multimodal filtres séparément. Enregistrez les filtres à côté de chaque exportation.
Google (en anglais) la documentation relative aux rapports explique que le rapport AI peut être absent lorsqu'un site a trop peu d'impressions. annonce multimodale ne pas déduire la demande zéro ou la perte de revenus d'un rapport manquant. A vérifié le 22 octobre 2026.