قائمة الـ "آي" الخاصة بك قد لا تزال تحتوي على أسماء قديمة

A name in robots.txt does not necessarily block anything. Among 1,020 readable files in our historical publisher sample, 244 named AI crawlers. Of those, 167 also carried names classified as legacy by the registry used for that measurement. That is 167 / 244 = 68.4%, rounded to 68%.

هذا ليس 68% من جميع الناشرين، جميع المواقع المأخوذة من العينات، أو حتى جميع الملفات التي تحجب الزحف الحالي بشكل نشط، بل هي الحصة في 244 ملفاً التي تسمى الزحف.

الأسماء والقواعد الفعالة قياسات مختلفة

وتفصل العينة الموفرة بين ثلاث مجموعات:

آخر صفين يضيفان إلى 244 اسماهما وحدهما لن يخبرانكم بأي مجموعة ينتمي إليها ملف Allow: / يمكن تسميتهم جميعاً بينما يسمح لهم بالدخول

These are root-path evaluations. A file may also contain different rules for another path. We did not test every URL or observe every crawler’s requests.

The مجموعة بيانات قابلة للتنزيل :: الاحتفاظ بالعلامات المسماة " توكينز " ، والعلامات المحجوبة، والشبكة، وأعلام الأسماء القديمة على حدة، وطريقة تحديد الإطار التاريخي، والبذور، والاستبعاد، وتاريخ جمع البيانات، وقائمة الناشرين الممولين من الإعلان ليست عينة تمثيلية للشبكة بأكملها.

الأسماء الموثقة للأنثروبك

Anthropic’s وثائق الزحف الخاصةيميز ثلاثة استخدامات، جرى فحصها مرة أخرى في 20 تشرين الأول/أكتوبر 2026:

نفس الصفحة لا توجد قائمة anthropic-ai أو claude-webوعلم السجل المنقذ هذه الخيوط بأنها تركة، ولا تثبت هذه الملاحظة أنه لا توجد برامج حاسوبية لا تزال تستخدمها، أو تحدد ما إذا كان عمل ناشر معين قد وصل إلى نموذج.

وفي هذه الطلقة، بلغ عدد الملفات التي تحمل سلسلة التركات الأولى 163 ملفاً، بينما كان 138 ملفاً يحمل المرتبة الثانية، وهذه الفئات متداخلة: فإضافة هذه الملفات ستكون بملفات مزدوجة. ClaudeBot هو 74ليس الـ 101 التي سبق ذكرها في هذه المذكرة.

كما أن حجب سلسلة من الإرث لا يعني ضمناً أن ملفاً قد أغفل المكسور الحالي، إذ يمكن أن يحدث كلاهما في نفس الملف، وبالتالي نسحب الإشارة السابقة إلى أن معظم المالكين يعتقدون أنهم قد أعاقوا الأنثروبيكيين ولكنهم تركوه مفتوحاً، ولم يقاس أي من معتقدات المالك ولا امتثال الزحف.

ما يقوله هذا عن الإحالة

ويخدم التحكم في التدريب ومراقبة الاسترجاع الموجهة من المستعملين أغراضا مختلفة، وقد أغلقت العينة التاريخية. ChatGPT-User في 121 ملفاً OAI-SearchBot in four. That comparison is between two retrieval/search tokens; it does not show that retrieval crawlers were blocked more often than every training crawler. For example, GPTBot تم حجبه في 206 ملفات

A robots.txt policy is not a measured traffic loss. A successful request is not proof that content was licensed. A missing token is not proof that every bot can enter: a firewall, authentication or another rule can also control access.

Google additionally provides a مراقبة الكونسول للتفتيشوهي منفصلة عن بعضها البعض Google-Extendedولا يمكن تحديد مكان ملكيته الخاصة من هذا الملف العام. أداة الزحف يشرح هذا التمييز دون التخمين أو تقدير النقرات المفقودة

فحص عملي

وقراءة الخردل ضد وثائق المشغل الحالية، وتقييم قواعد المسار الذي تهتمون به، وتفتيش سجلات الخواديم الفعلية إذا أردتم معرفة ما الذي جلبه، وتسجيل تلك الملاحظات باعتبارها ملاحظات منفصلة، ولا تترجم قائمة الأسماء إلى اختيار عالمي للمبادرة، أو إصدار التراخيص، أو توقع الإيرادات.

درجة الأدلة: A. وتدعم مجموعة البيانات الأولية التاريخية ووثائق المشغلين الحاليين العدات والتعاريف المعلنة، ولا تحدد هذه الوثائق اعتمادا في الوقت الحاضر على الشبكة العالمية أو القصد من المستعملين أو الأثر الاقتصادي.

العلم القديم هو تصنيف البحوث

ويصف التركة كيف أن سجل الزحف المنقذ صنف رمزا لهذه الدراسة، وليس ادعاء بأن الخيط لا يمكن أن يظهر أبدا في طلب أو أن كل ناشر يستخدمه ارتكب خطأ.

يمكن للمشغل أن يعيد تسمية الزحف أو يحتفظ بإسم قديم أو يغير دور المنتج نماذج الحزب الثالث يمكنها الحفاظ على الخيوط القديمة

تحقق من إشارة المشغل الحالي والغرض من القاعدة قبل حذفها، قد يكون إضافة رمز موثق حاليا مناسبا لسياسة مختارة، ولكن إزالة واحد قديم دون فهم الشكل المحيط يمكن أن يغير السلوك الذي تنوي الحفاظ عليه.

المطالبة البحثية المفيدة أضيق، هذه الملفات التاريخية تحتوي على خيوط مصنّفة بهذه الطريقة المعلنّة، سؤال الصيانة المفيد هو ما إذا كانت القواعد الحيّة لا تزال تعبر عن الخيارات الحالية للناشر.

نفس الاسم يمكن أن يظهر في قاعدة السماح

ويكشف الاسم إشارة صريحة، ولا يقيّم ما إذا كان الزحف المعني يستطيع أن يقطع طريقاً معيّناً، ويمكن لمجموعة أن تسمي عدة وكلاء وتسمح بجذور الدليل الأضيق أو أن تتضمن قواعد أكثر تحديداً.

The بروتوكول الاستبعاد الآلي (ج) تحديد المجموعات ومطابقة المسارات - يحتاج راعي إلى تقييم القواعد المنطبقة بدلاً من معالجة النص User-agent يليه اسم معروف كجمة

وعلى سبيل المثال، فإن الموقع يسمي زحفا موثقا، ولكنه يستخدم قاعدة تسمح بالجذر، ويظهر الاسم في البحث عن النص بينما تسمح السياسة الجذرية المقيّمة بالوصول إلى الموقع، ويمكن لموقع آخر أن يغفل هذا الاسم الصريح ولكنه يطبق كتلة بطاقات برية، وسيفوت البحث عن الاسم فقط هذا التقييد الفعال.

Those examples explain why named tokens and resolved root blocks are separate dataset fields. A useful interface should preserve that distinction, especially when a visitor expects “found in robots.txt” to mean “blocked.”

السماح عند الجذر لا يشمل كل URL بالضرورة

اختبار للمرضى الجذريين يسأل عن الموقع / يمكن للنشر أن يسمح بالجذر بينما يقيد محفوظات أو دليل آخر، كما يمكن أن يستخدم استثناء أكثر تحديداً لطريق دون قيد أوسع.

إذا كان القرار يتعلق بمقالة، قم بتقييم مسار تلك المقالة إذا كان يتعلق بجمع وفحص المسارات التمثيلية وشرح العينة، لا تُحوّل التقييم الجذري إلى بيان أن كل صفحة لها نفس السياسة

The historical study intentionally reports root-level blocks for comparison. That makes its unit reproducible. It also limits what can be inferred about individual content URLs. A crawler-policy score that hides the tested path would lose an important part of the method.

Path behavior can change when a site migrates its URL structure. A rule that once applied to /blog/ قد لا يغطي المواد التي تنقل في مكان آخر، ويبقي النطاق المقصود للمحتوى في سجل الصيانة بدلاً من قائمة العملاء فقط.

البحث في الاكتشاف والتدريب وجلب المستخدمين يحتاج إلى خيارات منفصلة

OpenAI's crawler reference distinguishes GPTBot, OAI-SearchBot and ChatGPT-User by purpose. Search discovery is not the same operation as collecting training material or retrieving a page at a person's request.

وثائق الازدحام وبالمثل، يميز زحف البحث عن المتاجرة التي يطلبها المستخدمون، ويمكن للمشغلين أن يصفوا مختلفا عن مناولة الطلبات التي يوجهها المستعملون، وبالتالي لا يفترضون أن كل موكب يتبع نموذجا متطابقا للمراقبة.

ويمكن للناشر أن يختار عمداً سياسات مختلفة لهذه الاستخدامات، إذ أن حجب واحد من هذه الأدوات والسماح لغيره ليس متناقضاً تلقائياً، وقد يعكس رغبة في البقاء مكتشفاً مع الحد من استخدام آخر.

فالبحث لا يختار هذه السياسة لكل موقع، بل يساعد على تحديد القاعدة المعلنة التي تنطبق على أي غرض موثق، ولا يمكن لقائمة مستنسخة من منشور آخر أن توفر قراركم الخاص بشأن الاكتشاف أو الترخيص أو الوصول إلى الجمهور.

إبقاء الإعلان والمراقبة والإنفاذ منفصلين

ويبين ملف الروبوتات تفضيلاً للعملاء الذين يتبعون القواعد ذات الصلة، وتبين سجلات الموظفين الطلبات التي لوحظت في ظل ظروف قطع الأشجار، ويمكن لقاعدة الوصول إلى الحافة أو التطبيقات أن ترفض الطلبات أو تسمح بها، وهذه طبقات ذات صلة، وليست أدلة قابلة للتبادل.

If you need to know whether a crawler visited, inspect logs and verify the requestor where the operator provides a method. User-agent text alone can be spoofed. A request carrying a famous name is not automatically an authenticated visit from that company.

إذا كنت بحاجة لمعرفة ما إذا كان الدخول قد حُرم، وفحص سجلات الاستجابة أو الإنفاذ الفعلية، ولا يثبت عدم التقيد المعلن وجود كتلة حافة، ولا يكشف كتلة حافة بالضرورة عن تفضيل روبوتي مقابل.

وأخيراً، لا يثبت أي من هذه الملاحظات وحدها ما يستخدمه النموذج في وقت لاحق داخلياً، ولا يمثل النجاح في الحصول على التدريب، ولا يوجد دليل على أن أي مصدر آخر لا يحتوي على مواد مماثلة، ويحتفظ بمطالبات على المستوى الذي تدعمه الأدلة المتاحة.

أعد حساب النسبة باستخدام مقامها الفعلي

ويستخدم العنوان مائة وسبعة وستين ملفاً مقسماً إلى مائتين وأربعة وأربعين ملفاً يُسمّى صراحةً زحامات الآيرلندية، وهذا يعطي حوالي 68.4 في المائة، وقسم نفس العدد بالألف ملف قابل للقراءة يعطي حوالي 16.4 في المائة.

كل من النتائج الحسابية يمكن حسابها لكنها تصف مجموعات مختلفة عنوان المقالة مشروط بالمجموعة الفرعية للتسمية

وبدأت العينة أيضاً بألف من مئتين مجالاً مستمداً، لم يكن كل ذلك قد تمخض عن ملف روبوتي قابل للقراءة، فالعدالة المستندة إلى الردود القابلة للقراءة لا تحدد سياسة المجالات المستبعدة، ولا تُسند رد فعل مفقود إلى المجموعة المسموحة لمجرد عدم ملاحظة أي حجب.

وتنطبق نفس الرعاية على تداخل الأسماء الموروثة، ويمكن أن يحمل ملف واحد كلا الخطين، بحيث لا يمكن إضافته إلى عدد الملفات المميزة التي تحمل إما.

ما يمكن ولا يمكن لنموذج مشترك أن يفسر

ويمكن أن يكون النص المكرر عبر الملفات دليلا على نموذج مشترك أو مولد كهربائي، ولا يحدد مسار التركيب الدقيق، سواء كان المالك قد استعرضه أو لماذا يظل موجودا.

وقد يكون الناشر قد قبل عن علم تقصير البائع، وقد يكون آخر قد قام بتحريره، وقد يكون الناشر قد نسخ جزءا من الملف من دليل، وبدون مقابلات أو تغيير التاريخ أو أي دليل مباشر آخر، فإن إسناد النية سيزيد من الفارق بين الطلقة.

على سبيل المثال، يمكن للمزود أن يجعل نطاق التحكم في المنتجات أكثر وضوحاً أو أن يُظهر التمثال الموثق الحالي بجانب الإطار، هذه هي التحسينات المحتملة، وليس الأسباب المقيسة للإحصاءات التاريخية.

إذا قمت بإدارة عدة مواقع، فتفتيش الملفات النهائية المنشورة بدلاً من افتراض أن نفس الموقع يخلق نواتج متطابقة في كل مكان، ويمكن أن تؤثر صيغ مختلفة من البلوجين، أو رمز الموضوع، أو قواعد الاستضافة، على النتيجة.

سجل عملي لصيانة الزحف والسياسات

List the product or use you want to manage, the operator's current token, the intended paths, the source URL and the date checked. Add the effective public rule and any separate enforcement layer you use.

مارك غير معروف، إذا لم تكن تعرف من يولد قسماً، تحقق قبل تحريره يدوياً، وإذا لم تكن وثائق المشغِّل واضحة بشأن جلبة موجهة نحو المستخدمين، سجل ذلك الغموض بدلاً من المطالبة باختيار عالمي.

وبعد تغيير القاعدة، تفقد الرد المباشر، تأكد من أنه هو الملف المقصود وليس صفحة HTML أو نسخة مخبأة ثابتة، مؤكدا أن موارد البحث والصورة والتطبيق غير المتصلة لم تكن مقيدة عرضيا.

(أ) الاحتفاظ بنسخة من التشكيلة السابقة وطريق التراجع، ويمكن أن يؤثر تغيير البطاقات البرية على أكثر من المنتج المعروف باسم " آي " ، ولا ينبغي أن يكسر هدف ضيق في مجال السياسة العامة دون قصد الاكتشافات العادية أو إصدار الصفحات.

لا تُقدّرْ زحمةَ المرورَ الضائعةِ مِنْ العدّ المكسورِ

والفرق التاريخي بين المكسورين لا يخبرنا كم عدد الزيارات التي كان يمكن أن تصل لولا ذلك، ولتقدير آثار الإحالة، ستحتاجون إلى ملاحظات حركة المرور الفعلية، ومقارنة مناسبة، وافتراضات بشأن تغييرات أخرى.

ويمكن أن تتزامن الزيادة أو التراجع في الزيارات اللاحقة مع تحرير السياسة العامة مع تغير الطلب على البحث أو المحتوى أو الترتيب أو المنتج نفسه، كما أن رسماً عادياً قبل الموعد وبعده لا يمكن أن يعزل أثر السياسة تلقائياً.

ولا يُذكر في جواب ما، ولا يُذكر في زيارة ما، كما أن الزيارة ليست نفس الدورة التي تُعقد في دورة للتعلم الإعلاني، بل إن طلب الزحف هو وحدة أخرى مرة أخرى.

The أداة الزحف العامة يمكن أن يساعد في تفتيش السياسة العامة والسياق التاريخي المرئي، ولا يمكنه استعادة أماكن البحث الخاصة، وتوثيق كل طلب أو حساب الإيرادات المفقودة من قائمة الروبوتات، وينبغي أن تسافر هذه الحدود مع أي استنتاج تتقاسمه.

تحويل مراجعة الحسابات إلى إجراء جديد واضح

وإذا كان المكسور موجوداً وتطابق القاعدة الفعالة مع هدفكم، فإبقاء سجل الأدلة واستعراضه بعد تغيير المشغل ذي الصلة، وإذا كان التركة التي خلفها هو التعبير الوحيد عن هدف حالي، تحقق من الاستبدال الموثق واختبار السياسة المقصودة، وإذا كان الملف متولداً في مكان آخر، فغير تشكيلة الملكية والتحقق من الانتشار.

لا تزيلوا الضوابط فقط لتجعلوا الحسابات أكثر خضراء، و تقرروا الغرض أولاً، أي حجر متعمد يمكن أن يكون صحيحاً للناشر حتى لو كان يخفض مسار الاكتشاف

وتتمثل أقوى النتائج في سياسة مفهومة: ما يسمح به، وما هو مقيد، واستخدامه وما لوحظ بالفعل من اختبار، وهذا أكثر فائدة من قائمة طويلة وراثة بالاسم تقدم كحماية كاملة من كل نظام من نظم المعلومات الإدارية.

أبقِ النسخَ المصدريَ لذا يُمْكِنُ أَنْ تُعادَلَ الشيكاتَ المقبلة تلك السياسةِ.