قواعدكِ الخاصة بـ (إي آي) قد تحجب الزائر الذي أردتِه

اقرأ قاعدة الزحف الفعلية قبل تغييرها وفي عينتنا التاريخية، كتب الناشرون قواعد مختلفة لزوار مختلفين مرتبطين بمنظمة العفو الدولية، وهذا لا يعني لنا ما إذا كان المالك يعتزم الاختلاف، وما إذا كان الطلب قد أوقف بالفعل، أو عدد الزيارات التي أسفرت عنها.

يمكن للموقع أن ينشر robots.txt الملف موجود في جذوره، والملف يورد الأفضليات الزحفة، وليس كلمة سر أو نظام مراقبة الدخول، وبعض المواقع لا يوجد بها ملف قابل للقراءة، ويعتمد آخرون على مضيف أو ملصق لتوليده، والسؤال الأول المفيد هو ما يقوله ملفك العام اليوم.

لقد وجد قياسنا التاريخي قواعد فضفاضة على مستوى الجذور ChatGPT-User في 121 of 1,020 readable filesبالمقارنة مع 4 of 1,020 for OAI-SearchBotنسبة الأسهم إلى 11.9 في المائة و 0.4 في المائة، والفرق الملحوظ كبير واضح؛ والتعددية الدقيقة أقل يقيناً لأن العدد الثاني صغير جداً.

OpenAI's crawler documentation, checked on 25 October 2026, distinguishes search, training and user-triggered retrieval. OAI-SearchBot supports ChatGPT search results. ChatGPT-User handles some user-requested visits and is not the control for search inclusion; robots rules may not apply to those requests. Both descriptions are more precise than saying one visitor sends readers while the other merely stores pages.

وتفصل هذه المادة العينة الأصلية عن التوجيه التشغيلي الحالي، ولم تُعاد إدارة مجموعة البيانات أو إعادة تصنيفها كجزء من هذا التحديث التحريري. أداة زاحفة وسياسية للتفتيش على سياسة عامة، ثم التحقق الخادم أو سجلات الحافة إذا كان سؤالك يتعلق بالطلبات الفعلية.

كم مرة أكثر، بالضبط

121 of 1,020 files against 4 of 1,020. Divide those and you get 30, which is the best single guess and is nowhere near as solid as it looks, because it rests on a denominator of four files.

So here is what we can actually stand behind. Take the 1,020 files, draw 1,020 of them back out at random with repeats allowed, count both crawlers again, and do that twenty thousand times. That is a way of asking what this measurement would have said if a different thousand publishers had been picked, and it assumes nothing about the two counts moving together — which matters, because they are counts over the same files, and three of the four sites that block OAI-SearchBot كتلة ChatGPT-User تسعة عشر مرة في عشرين، تهبط الإجابة بين 14.5 و 134- في مصباح واحد في خمسين، لا يوجد موقع على جميع المباني OAI-SearchBot والتعددية ليس لها نهاية قصوى.

الطريقة الثانية التي لا تتقاسم الافتراض الأول: معرفة كل نسبة من هذه النسبة وتقسيم الطرف المنخفض للنقطة الواحدة إلى الطرف الأعلى، وهذا أمر متعمد واسع للغاية، ويعطيها 9.9 to 127.

One method gives a lower limit above ten; the other gives 9.9, which is close to ten but does not literally clear it. The defensible summary is a large difference with an uncertain ratio. The observed shares and raw counts carry that finding better than a sharp multiple. A point estimate near 30 is not an exact population result.

كيف تبدو العينة بأكملها

و بواسطة الزحف

العمود الأخير هو المدى الذي يعرفه كل شخص، ولهذا السبب يجب أن تقرأ الصفوف الأربعة السفلية على أنها "آخر لا أحد" وليس كأمر

ما تغيرت إعادة القياس وما لم يحدث

وقد نُشر هذا لأول مرة في 2026-09-01 من 106 ملفات، وجلب ملفاً واحداً في وقت واحد، ومنذ ذلك الحين، كان زحفنا الخاص يقرأ نفس نوع الملف كل ليلة، لذا يمكن طرح السؤال نفسه مرة أخرى بعشر مرات تقريباً، دون أن يطلب أي شخص أي شيء جديد.

ولم يتراجع شيء، فقد انتقلت الحصة الرئيسية - الناشرين الذين لا توجد لديهم قاعدة على الإطلاق - من 76 في المائة إلى 76.1 في المائة، وكانت الأرقام التي انتقلت إلى معظمها، وصيغة الموردين من 34 في المائة إلى 29.9 في المائة، والفئة التاريخية المتصلة بالرد من 14 في المائة إلى 12.1 في المائة، وكلاهما انتقلا إلى أقل من هامش الخطأ الخاص بالعينة الأولى، الذي كان على نطاق ثمانية نقاط.

What did change is precision. At 106 files these shares were known to within roughly eight points; at 1,020 they are known to within two or three.

والعدّة في قمة هذه الملاحظة قد اختفت، قرأت 15× — 15 files of 106 against 1 of 106 — which is the right division of the right counts and still should not have been printed, because the denominator was a single file. At 1,020 files the point estimate is 30 and the range runs from about 10 to well over 100, so 15 is inside a wide uncertainty interval, rather than disproved by the larger sample. Neither point estimate deserves a precise, universal headline. A number that survives being divided correctly can still be a number nobody should have stated, and the tell was in the first sample all along: 1 of 106 has a range of 0% to 5%, and no ratio built on it could have been worth two significant figures.

الشيك الذي كان علينا القيام به أولاً وكاد أن نخطئ

عينة أكبر فقط أفضل إذا كانت عينة من نفس الشيء.

زحفنا يعمل من خلال قائمته على أقل تقدير في البداية لذا قراءة "ما جمعه حتى الآن" هي عينة من أيّاً كان ما حصل له، وهذا ليس عشوائياً بالنسبة لأي شيء، وقد كان هناك تصريح سابق في هذا المتجر نفسه يحتوي على 597 ملفاً ناشراً، حيث جاء 597 ملفاً من أحد الشبكات الإعلانية، و لا أحد من الأخرى، وهذا غير مرئي في المجموع، كان سينشر سراً واحداً من عملاء الشبكة ككل.

So this measurement does not read everything in the store. It reads only the 1,200 domains that were drawn once, in advance, with each network given its share of the list, and only the files collected on a single day when all 1,200 were tried. Eleven other files in the store are readable and were left out because they are not part of that draw. All eleven are from one network, and all eleven say nothing about AI crawlers — so including them would have nudged the headline upwards using files that nothing chose at random.

الأمر يهم هنا أكثر من المعتاد لأن ناشري الشبكتين يختلفون اختلافاً حقيقياً: 88% من الملفات من واحد منهم لا تقول شيئاً عن زاحفين "آي" مقابل 60 % من الآخر، إعادة الوزن بحيث تُحسب كل شبكة لحصة من القائمة الكاملة، بدلاً من حصتها من الملفات التي ردت علينا، تنقل كل رقم في الجدول أعلاه بأقل من نصف نقطة

لماذا تظهر الأرقام بهذه الطريقة

تقريباً ثلث الملفات التاريخية تحملت صياغة متوافقة مع نموذج المورّد، مثل كتلة عمل مخصّصة أو قائمة مُصنّفة، هذا دليل على النص، وليس حالة الناشر العقلية، ربّما يكون المالك قد قبله عمداً، أو فوض القرار، أو تجاهله، ولم نقابل مالكين، لذا لا يمكننا التمييز بين تلك الاحتمالات.

وقد تبين من التصنيف التاريخي أن اسماً واحداً على الأقل غائباً عن القائمة المرجعية للمقدمين في 16.4 في المائة من الملفات، وفي 2.3 في المائة، وقع كل عامل مرتبط ارتباطاً صريحاً بشركة AI في تلك الفئة، وعدم وجود قائمة مرجعية هو سبب للتحقيق، وليس دليلاً على عدم استخدام أي زبون في أي مكان، أو أن القاعدة لا يمكن أن يكون لها أي أثر، فالأسماء الحالية للمقدمين والتصنيف التاريخي بحاجة إلى تواريخ منفصلة.

الجزء الذي من السهل الحصول على الخطأ

تسمية الزحف لا تحجبه

ويقرأ الملف في مبان، حيث أن هناك خطا أو أكثر يسمّى الزحامات، ويتبعه القواعد التي تنطبق عليها، ولا تبدأ القواعد إلا بعد انتهاء تشغيل الأسماء، ويضع المعيار الذي يحدد هذا، RFC 9309، بوضوح: يمكن للمجموعة أن تسمي عوامل متعددة قبل بدء قواعدها. RFC 9309 specification يحدد كيف تفسر المجموعات والمسارات المطابقة.

إذاً ملف يحتوي على ثلاثين اسماً زحفاً على قاعدة مسموح بها كل ثلاثين، يقرأ كحائط ويعمل كباب مفتوح، 2.7% من هذه العينة تفعل ذلك بالضبط مع زحف واحد على الأقل

لهذا السبب تم تحديد الأرقام الواردة أعلاه بدلاً من حسابها. User-agent: GPTBot وكانت ستبلغ عن تلك الملفات بأنها صارمة إلى أقصى حد عندما تكون على العكس - وهي الخطأ الذي يقترفه أي شخص من ملفه عينا.

ماذا أفعل حيال ذلك، إذا أي شيء

هناك قرار حقيقي هنا و ليس هو الذي تتخذه النماذج

اصنع خيارات منفصلة للتدريب النموذجي واكتشاف البحث و مستعمل يطلب من مساعد ان يفتح صفحة هذه الأغراض يمكن ان تستخدم ضوابط مختلفة

على سبيل المثال إشارة جوجل المشتركة explains that Google-Extended is a product token, not a separate HTTP visitor. Its stated Gemini uses differ from Google Search inclusion and ranking. A list of names in a file cannot show which requests reached your server.

ويمكن لسياسة عملية أن تسمح بالزحف المتصل بالبحث في حين تخفض استخدامات التدريب المحددة، وقد يختار ناشر آخر تقييدا أوسع نطاقا، ولا يضمن أي من الخيارين الإحالة أو الدفع أو اتفاق الترخيص أو إزالة المواد المستخدمة بالفعل في أماكن أخرى، ولا يحدد قياسنا السياسة التي هي أفضل من الناحية التجارية بالنسبة لك.

استخدام فضاء العمل في مجال التحليل الحر قراءة السياسة العامة، وتحديد الجهة التي تتحكم في كل قسم من الأقسام التي تديرها، والاحتفاظ بنسخة قبل تغيير أي شيء، وقد يُنفّذ لوح الاستضافة قواعد غير مرئية في الملف، بحيث يحتاج الاستعراض الكامل إلى الإعلان وإلى التشكيلة الفعلية للخدمة.

القيود

The مجموعة بيانات عن الزحف والسياسات ويتضمن الجدول التاريخي ونطاق جمع البيانات - تم فحص المراجع الحالية للمقدمين في هذه المادة في 25 تشرين الأول/أكتوبر 2026؛ وهذا لا يُعيد تجديد مجموعة البيانات.

This is 1,020 readable files, from a sample of 1,200 drawn with a fixed starting word from a list of 16,076 domains that two ad networks publish as their own publishers. It describes small, ad-funded content businesses and nothing more. It does not establish the behavior of publishers outside those networks, enterprise news organizations, stores or the wider web. We have not surveyed every other published study or established that all large publishers behave differently.

180 of the 1,200 gave us nothing we could read. They are left out rather than counted as permitting everything, because a refusal — an HTTP 403, which 107 of them gave — is a fact about a firewall and not about a policy, and counting them the other way would have moved the headline in the direction that flatters it. Ten of the 180 answered normally with an empty file; those are left out too, on the same rule the first measurement used, and counting them as silent instead would put the headline share at 76.3% rather than 76.1%.

القائمة التي رسمناها هي ناشرين على شبكة إعلانين وليس على شبكة الإنترنت الناشر الذي ليس لديه شبكة إعلانات

ما قسناه هو ما تقوله الملفات ليس ما سيحدث بعد ذلك

هذا يحسب القواعد المكتوبة في الملفات لا يقيس ما إذا كانت أي شركة من شركات AI تطيعهم، ويقول أحدهم بوضوح أنه قد لا يكون كذلك.

وتميز الأوصاف الحالية للمقدمين عن استرجاع المستعمل من الاكتشافات التلقائية، وقد لا تكون قاعدة التحلل المكتوبة هي الرقابة الفعالة على كل زيارة يطلبها المستخدم، وهذا لا يغير النص الملاحظ في الملفات التاريخية، بل يغير النتائج التي يمكن أن نستنتج منها بصورة معقولة.

In particular, allowing a search crawler does not guarantee a link or a visit. Blocking a training crawler does not establish that all AI-related access has stopped. A crawler can also be prevented by a firewall even when robots.txt appears permissive. These are different observations and need different evidence.

تغيير منبر حقيقي يجعل التمييز مفيداً

Cloudflare's managed robots.txt documentationفي 22 تشرين الأول/أكتوبر 2026، يصف التوجيهات المنظمة المتولدة عن أفضليات البحث والعميل والتدريب من خلال موقع بوت بريب سينك، وهو مثال حالي على منبر يحول أفضلية لوحات السحب إلى نص عام، ولا يعني أن التوقيعات التاريخية للموردين في مجموعة بياناتنا جاءت من تلك السمة الخاصة.

الدرس العملي هو فحص الملف المُقدّم ليس فقط نسخة من مستودعك الرمزي، يمكن إضافة قسم مُدار قبل رسالة مُنشأك، وعلى العكس من ذلك، يمكن لتشكيل شامل أن يترك ملف الأصل دون تغيير، مصدر الحقيقة للزحف هو الردّ الذي يتلقاه، إلى جانب سلوك المُقدّم المُوثّق وأيّ قاعدة دخول مُنفّذة بشكل منفصل.

لا تزيلوا حجراً مُداراً بشكل أعمى، حددوا المكان الذي ينتجه، وحددوا ما إذا كان يعكس تفضيلكم، وأجعلوا التغيير في النظام الذي يمتلكه، وقد يترك تحرير ملف المنشأ جزءاً يُحكم عليه حافة، كما أن تحرير ملف مُولّد باليد قد يُعكس أيضاً من خلال تحديث البلوجين أو المنصات القادمة.

اختبار سياسة معلنة دون المطالبة بنتيجة المرور

Start with one public URL that readers should be able to access. Save the current robots response, its status, the date and the system believed to manage it. Check the root path and an actual article path. A root-level finding is useful, but a narrower path rule can change the answer for an individual page.

إذا كان الهدف هو البحث، استخدم التحكم في البحث، إذا كان الهدف هو اختيار تدريب محدد، استخدم التحكم في التدريب الموثق، وتجنب ترجمة هدف تجاري واسع مباشرة إلى قائمة طويلة مستنسخة من مستودع عشوائي

اقرأ النتيجة كما لو كان زحفاً، واختار مجموعة العميلة ذات الصلة، وطبق قواعد المسار ونلاحظ أي عدم يقين، وملف يحتوي على اسم ليس تلقائياً كتلة، ولا دليل على تقديم طلب، وحافظ على كل من الاستجابة الأولية وتفسيرك حتى يتمكن شخص آخر من إعادة إصدار الشيك.

بعد تغيير، أحضر الملف المُقدّم مرة أخرى، وتحقق من تكرار الأقسام المُدارة والقيود غير المقصودة على زحف البحث العادية، و اطلب من مالك المنبر أن يشرح قاعدة لا يمكنك تتبعها، ولا تعد بتغيير ترتيبي فوري، ولا يزال الزحف بحاجة إلى إعادة النظر، ولا يكفل الاكتشاف الاختيار للإجابة.

وبالنسبة للإنفاذ الفعلي، يمكن فحص سجلات الخادم أو سجلات طلب الحواف باستخدام طريقة التحقق من المكبوتات المناسبة، ويمكن الحد من الخيوط التي يستعملها المستخدمون. Common Crawl's CCBot reference ويحذر صراحة من انتحال الشخصية ويصف معلومات التحقق، كما أن التمييز العام نفسه يهم عندما يكون هناك زحام على لوحة بيانات مستخدما اسم زائر مدعى به فقط.

الاحتفاظ بأدوار مقدمي الخدمات في سجل صيانة صغير

سجل اسم الصدر، الغرض المعلن، الوثائق الرسمية، فحص التاريخ، القرار الحالي، الشخص أو النظام المسؤول عن تغييره، حافظ على الملاحظة التاريخية في عمود منفصل، هذا يمنع مصطلحات المزود الجديدة من إعادة كتابة ما تقاسه العينة القديمة.

توجيه (أنثروك) الزحف ويميز جمع النماذج الإنمائية، واسترجاعها واستكشافها الموجه نحو المستعملين والبحث عنها. إرشادات الارتداد كما يفصل زحف البحث عن مهرّب مُوجّه إلى مستعملين، ووصفهم الحالي هو ضوابط مفيدة للتشاور، وليس دليلاً على أن كل طلب تاريخي قد أطاع ملفاً.

استعراض السجل عندما يغير المزود وثائقه، عندما تدار التغييرات في منصة الاستضافة الخاصة بك، أو عندما تُلاحظ الطلبات لا تضاهي توقعاتك، ولا تعامل قائمة الزحام القديمة كحد أقصى أمني دائم، وقائمة صغيرة مؤرخة من الخيارات التي تفهمها أكثر فائدة من قائمة طويلة لا تملك مالكا.

الخطوة التالية هي فحص سياستكم المعلنة وتحديد عدم يقين واحد يستحق الحل، ويمكن أن تبين عينتنا التاريخية وجود إعلانات غير متماثلة، ولا يمكن أن تقرر موقف الترخيص الخاص بك، أو تتنبأ بزيارة، أو أن تحل محل الأدلة من النظام الذي يخدم صفحاتكم فعلا.