مجموعة البيانات

Which AI crawlers 1,020 small ad-funded publishers name and block in robots.txt

Historical robots.txt policies from 1,020 readable files in a sample drawn from a 16,076-domain advertising-network frame. Named tokens, resolved site-root blocks, legacy-name flags and template markers are separate fields. In the saved snapshot, 244 of them named evaluated crawlers: 216 blocked at least one at the root and 28 blocked none. Of the 244, 167 also carried legacy-name flags. These observations describe public file contents, not owner intent, actual crawler compliance, lost referrals, model training or licensing income. The source was collected on 2026-09-02; descriptions and denominators were clarified on 2026-10-20.

• 16,076 domains in the frame
• 1,200 domains drawn
• 1,020 readable files
• 9 AI زحف تسوية ضد كل واحد

التغطية

2026-09-02

آخر تحديث

2026-10-20

الترخيص

CC by 4.0

DOI

10.5281/zenodo.22280370

يا له من صف

One publisher’s robots.txt file: which AI crawlers it names, which it actually blocks, which names it carries that no vendor documents, and whose template it was written from.

المواضيع

robots.txt, AI crawlers, GPTBot, ChatGPT-User, ClaudeBot, CCBot, Google-Extended, crawler blocking, AI training opt-out, web publishers, RFC 9309

تحميل عينة البيانات العامة1,020 rows · 8 columns · CSV · no account, no email

اقرأي الاكتشاف الذي خرج منه هذاقواعدكِ الخاصة بـ (إي آي) قد تحجب الزائر الذي أردتِه

كيف نستشهد بهذا

استخدمه تجارياً، وغيّره، واعتمد عليه، والشرط الوحيد هو الائتمان، والربطة تشبعه.

ما يجب أن تعرفه عن هذه البيانات

• هذه هي الأعمال التجارية الصغيرة والممولة من الإعلان في مجال المحتوى في شبكتين إعلانيتين، وليست الشبكة، والناشر الذي ليس لديه شبكة إعلانات ليس في الإطار على الإطلاق، والناشرين الكبار الذين ينشرون كل رقم آخر يتكونون من تصرفات مختلفة تماما.
• والملف الذي لا يمكن جلبه هو واقعة حول جدار الحماية، وليس سياسة، وتُترك 180 مجالاً يرفضها من القاسم بدلاً من اعتبارها صامتة.
• وهذه الفئات ليست تقسيما ولا ينبغي إضافتها، بل إن ملفا يحجب الزحف الذي كان يمكن أن يشير إليه يحجب أيضا زحفا واحدا على الأقل، وكثيرا ما يحمل أسماء كتبها نموذج شخص آخر، ويعطي إضافة هذه الملفات عددا أكبر من العينة.
• “No vendor documents it” is not “it is dead”. We checked each name against its supposed operator’s own published crawler list. Anthropic documents ClaudeBot, Claude-User and Claude-SearchBot, and neither anthropic-ai nor claude-web is among them — but no vendor publishes a retirement notice, so what we can show is that a publisher is naming something the operator does not list, not that nothing answers to it.
• ويقول أحد الملصقات أن جزءاً من الملف لم يكتبه الناشر، ولا يقول إن قواعد التنفيذ المشترك جاءت على وجه الخصوص من البائع - وهو مجمع يوز عادة ما لا يتضمن أي قواعد بشأن التنفيذ.
• ويُغفل البقايا من الحمولة، ويسمح الإطار والبذور والطريقة المنشوران بإعادة سحب العينة؛ فالإغفال ليس ضماناً من إعادة تحديد الهوية.

كيفية قياسها

1,200 domains were drawn once from the 16,076 the two networks publish about themselves, ranked by a hash of a published seed and the domain name, so that anyone can redraw the same sample. The nightly crawler fetched each robots.txt on a single complete pass; 1,020 answered and 180 refused or could not be reached, and the ones that could not be reached are excluded from the denominator rather than counted as saying nothing, which would have moved the headline in the direction that flatters it. Each file was then resolved rather than searched: the rules that reach a named crawler at the site root, worked out by the grouping rules the robots.txt standard sets out, because a file that stacks thirty crawler names above one permissive block has authorised all thirty. Rows are in the order the source holds them, which is alphabetical by domain with the domain removed — unrelated to anything measured, so any run of rows from it is a fair slice of the whole.

الموجز

The first 60 of 1,020 rows. The download has all of them. Free to use with credit, commercially included.

ما يعنيه كل عمود

الشبكة

شبكة الإعلان التي نشرها العملاء قائمة بالمجال

الأسماء

كم عدد الـ (آي آي) الحالي يزحف أسماء الملفات على الإطلاق سواء أكانت تمنعهم أم لا

اللبنات - الخنازير

كم واحد منهم يحجب في الواقع جذور الموقع بمجرد أن يحل الملف

أسمه (توكين)

الزحفات تُفصل أسماء الملفات عن طريق الشبهات

محاصرين

الزحفات التي تفصل بين الملفات و نصف اللون

كتلة - مقصود -

نعم عندما على الأقل زاحف واحد محجوب هو واحد الذي يجلب صفحة للإجابة على سؤال ووصلات العودة

متقاعد

الاسماء في الملف التي لا يوجد بها أي بائع وثائق حاليا، مفصولة من قِبل شبه كولونز، وليس ادعاء بأن الزحف توقف عن الركض - فقط أن مشغلها المفترض لا يُدرجها في القائمة.

بائع - زمالة

الأداة أو الشبكة التي يظهر فيها كتلة مميزة في الملف، حيث يوجد

* كل مجموعة بيانات *