زواحف الذكاء الاصطناعي: دليل robots.txt الكامل 2026

هناك اليوم أكثر من اثني عشر زاحف ذكاء اصطناعي نشطًا تابعًا لستّ شركات، وهي ليست فئة واحدة. بعضها يجمع بيانات لتدريب النماذج ولن يعود عليك بزيارة واحدة، وبعضها يفهرس صفحاتك أو يجلبها لحظيًا ليستشهد بها أمام المستخدم. الخلط بينها هو أكثر خطأ يكلّف المواقع ظهورها دون أن يدري أصحابها.

القرار الصحيح ليس «اسمح للجميع» ولا «امنع الجميع»، بل فصل الفئتين والتعامل مع كل واحدة بمنطقها.

ما الفرق بين زواحف التدريب وزواحف الاسترجاع؟

زواحف التدريب تنسخ محتواك ليصبح جزءًا من نموذج مستقبلي، دون ذكر لك ودون رابط ودون زيارة. زواحف الاسترجاع تقرأ صفحتك لحظة سؤال المستخدم لتضعها في الإجابة مع رابط ظاهر. الأولى تأخذ، والثانية تعطي. ولهذا يجب أن يكون قرارك مختلفًا تجاه كل فئة.

الجميل أن الشركات الكبرى فصلت الوكلاء عمدًا، فأصبح بإمكانك رفض التدريب والبقاء مؤهّلًا للاستشهاد في الوقت نفسه. هذه ليست ثغرة، بل تصميم مقصود.

ما القائمة الكاملة لزواحف الذكاء الاصطناعي؟

هذه هي الوكلاء المعلنة التي تحتاج إلى قرار صريح منك في ملف robots.txt، مصنّفة حسب الغرض. أي وكيل في عمود التدريب حجبه لا يؤثّر على ظهورك في الإجابات، وأي وكيل في عمود الاسترجاع حجبه يعني اختفاءك من تلك المنصة.

الشركة	زاحف تدريب	زاحف استرجاع واستشهاد
OpenAI	GPTBot	OAI-SearchBot، ChatGPT-User
Anthropic	ClaudeBot	Claude-SearchBot، Claude-User
Google	Google-Extended	Googlebot
Perplexity	لا يوجد منفصل	PerplexityBot، Perplexity-User
Meta	Meta-ExternalAgent	—
Apple	Applebot-Extended	Applebot
ByteDance	Bytespider	—
Common Crawl	CCBot	—
Amazon	Amazonbot	—

انتبه إلى Google-Extended تحديدًا. حجبه يمنع استخدام محتواك في تدريب Gemini، ولا يؤثّر إطلاقًا على ترتيبك في بحث جوجل ولا على ظهورك في لمحات الذكاء الاصطناعي، لأن هذه تعتمد على Googlebot نفسه. من ظنّ أن حجبه يخرجه من الملخصات كان مخطئًا.

إنفوجرافيك: من يأخذ ومن يعطي؟

الشكل يفصل الزواحف إلى فئتين بحسب ما تعود به عليك. الفئة اليسرى تنسخ محتواك ولا ترسل لك زائرًا واحدًا، والفئة اليمنى تقرأ صفحتك لتضعها في إجابة بجانبها رابطك. قرارك يجب أن يختلف تجاه كل فئة.

الخطأ الشائع أن يُتَّخذ قرار واحد للفئتين. من يحجب الجميع يخسر الظهور بلا مقابل، ومن يسمح للجميع دون تفكير قد يسلّم أرشيفه كاملًا لتدريب نماذج لن تذكره.

ماذا يعني لك كل وكيل عمليًا؟

الوكيل	الفئة	هل يحترم robots.txt؟	أثر حجبه
GPTBot	تدريب	نعم	لا أثر على ظهورك في بحث ChatGPT
OAI-SearchBot	استرجاع	نعم	اختفاء من إجابات ChatGPT
ChatGPT-User	جلب لحظي	نعم	تعذّر فتح صفحتك بطلب مستخدم
ClaudeBot	تدريب	نعم	لا أثر على الاستشهاد
Google-Extended	تدريب	نعم	لا أثر على الترتيب ولا الملخّصات
PerplexityBot	استرجاع	موضع جدل	خسارة الظهور، والحجب قد لا يُحترم
Bytespider	تدريب	موثّق تجاهله	الحجب يحتاج مستوى الخادم
CCBot	تدريب	نعم	خروج من أرشيف مفتوح تستخدمه نماذج كثيرة

ركّز على العمود الثالث. اثنان من الثمانية لا يُعوَّل على التزامهما، ولهذا فإن أي قرار حجب جادّ يحتاج طبقة إنفاذ على الخادم لا سطرًا في ملفّ نصّي.

ما الإعداد الموصى به لملف robots.txt؟

الإعداد المتوازن لمعظم المدوّنات والمواقع التجارية هو: امنع زواحف التدريب التي لا تعطيك مقابلًا، واسمح لكل زواحف الاسترجاع دون استثناء. هذا يحافظ على ظهورك في الإجابات ويقلّل استهلاك محتواك في تدريب نماذج لا تذكرك.

# زواحف التدريب: منع
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: Bytespider
Disallow: /

User-agent: Meta-ExternalAgent
Disallow: /

User-agent: Applebot-Extended
Disallow: /

# زواحف الاسترجاع والاستشهاد: سماح
User-agent: OAI-SearchBot
Allow: /

User-agent: ChatGPT-User
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: Claude-User
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: Perplexity-User
Allow: /

إن كان محتواك هو منتجك نفسه، كموقع أبحاث أو أرشيف مدفوع، فاجعل المنع أشمل. وإن كان هدفك الوحيد أوسع انتشار ممكن ولا تمانع التدريب، فاحذف كتلة المنع كاملة. القرار تجاري لا تقني.

هل يلتزم الجميع بملف robots.txt؟

لا. الملف اتفاق أخلاقي لا آلية إنفاذ، ولا شيء تقنيًا يمنع زاحفًا من تجاهله. وُثّق تجاهله من Bytespider مرارًا، ونشرت Cloudflare في أغسطس 2025 تحقيقًا اتّهمت فيه Perplexity بالوصول إلى مواقع حجبته باستخدام وكلاء غير معلنة تنتحل صفة متصفّح عادي.

النتيجة العملية: إن كان قرارك السماح فلا مشكلة أصلًا. أما إن كان المنع جادًّا وله قيمة تجارية حقيقية، فأنت تحتاج إلى حظر على مستوى جدار الحماية أو الخادم بناءً على وكيل المستخدم ونطاق العناوين، لا إلى سطر في ملف نصي.

هل موقعك محجوب دون أن تعلم؟

هذا احتمال حقيقي يغفل عنه كثيرون. بدأت Cloudflare منذ يوليو 2025 حجب زواحف الذكاء الاصطناعي افتراضيًا للنطاقات الجديدة، ضمن توجّهها لجعل الزحف مدفوعًا. فإن كان موقعك خلف Cloudflare أو شبكة توصيل مشابهة، فقد تكون محجوبًا بإعداد لم تختره أنت.

افحص هذا قبل أي شيء آخر. لا معنى لتحسين محتواك ليُقتبس بينما الزاحف يُردّ من البوابة أصلًا. الفحص لا يستغرق دقائق:

1. افتح موقعك.com/robots.txt وتحقّق من عدم وجود قاعدة عامة User-agent: * متبوعة بـ Disallow: /.
2. ادخل لوحة تحكم Cloudflare وراجع إعدادات AI Crawl Control أو Bot Management.
3. افحص سجلّات الخادم وابحث عن OAI-SearchBot وPerplexityBot خلال آخر ثلاثين يومًا. غيابها التام مؤشّر على حجب في مكان ما.
4. راجع إضافات الحماية في ووردبريس. بعضها يحجب وكلاء غير مألوفة تلقائيًا.

كيف تقرأ سجلّ الخادم خطوة بخطوة؟

سجلّ الوصول هو المصدر الوحيد الموثوق لمعرفة من زار موقعك من الزواحف. تجده في لوحة الاستضافة تحت اسم Access Logs أو Raw Logs، ويحتوي سطرًا لكل طلب فيه عنوان IP والوقت والصفحة ورمز الاستجابة ووكيل المستخدم.

1. حمّل سجلّ آخر ثلاثين يومًا من لوحة الاستضافة.
2. ابحث عن اسم كل وكيل من الجدول أعلاه داخل الملفّ.
3. سجّل ثلاثة أرقام لكل وكيل: عدد الطلبات، وأكثر الصفحات زحفًا، ورمز الاستجابة الغالب.
4. افحص رموز الاستجابة. تكرار 403 أو 429 يعني أنك تحجب أو تخنق الزاحف دون قصد.
5. قارن شهريًا لتكتشف توقّف أي زاحف عن الزيارة، وهو إنذار مبكّر قبل أن ينخفض ظهورك.

رمز الاستجابة	ما يعنيه	الإجراء
200	الصفحة سُلّمت بنجاح	لا شيء، هذا المطلوب
403	الوصول ممنوع	راجع جدار الحماية وإضافات الحماية
429	طلبات أكثر من المسموح	ارفع الحدّ أو استخدم Crawl-delay
404	الصفحة غير موجودة	أصلح الروابط المكسورة، فالمحرّك قد يرسل إليها زوّارًا
5xx	خطأ في الخادم	مشكلة استضافة تضرّ الزحف كلّه لا الذكاء الاصطناعي وحده

كيف تتحقّق أن الزاحف حقيقي لا منتحل؟

ينتحل بعض الزواحف الضارّة أسماء الوكلاء المعروفة للتحايل على القيود. التحقّق يتمّ بمطابقة عنوان IP مع نطاقات العناوين التي تنشرها كل شركة رسميًا، أو بإجراء بحث عكسي على العنوان للتأكّد أنه يعود إلى نطاق الشركة المعلن.

لا تُرهق نفسك بهذا إن كان قرارك السماح، فالمنتحل الذي يقرأ محتواك العلني لا يضرّك كثيرًا. أمّا إن كنت تحجب لأسباب تجارية جادّة فهذه الخطوة ضرورية، لأن الحجب بالاسم وحده يُتجاوَز بسهولة.

كيف تعرف أن الزواحف تزور موقعك فعلًا؟

الطريقة الوحيدة الموثوقة هي سجلّات الخادم، لا أدوات التحليلات. زواحف الذكاء الاصطناعي لا تشغّل جافاسكربت، فلن تظهر في Google Analytics إطلاقًا. سجلّ الوصول في استضافتك هو المصدر الوحيد الذي يخبرك من زار، وكم مرة، وأي صفحات.

ابحث في السجلّ عن أسماء الوكلاء المذكورة أعلاه، وسجّل ثلاثة أرقام شهريًا: عدد الزيارات لكل زاحف، والصفحات الأكثر زحفًا، ورمز الاستجابة الذي حصل عليه. إن رأيت 403 أو 429 متكررة فأنت تحجب دون قصد.

كيف تحجب الزواحف على مستوى الخادم لا بملف robots.txt؟

ملف robots.txt طلب مهذّب ينفّذه الزاحف طوعًا. الحجب على مستوى الخادم قاعدة تُنفَّذ قبل أن يصل الطلب إلى ووردبريس أصلًا، فتردّ برمز 403 على أي وكيل تحدّده مهما ادّعى. استخدمه حين تجد في السجلّ زاحفًا يتجاهل ملفك أو ينتحل اسم وكيل معروف.

على خادم Nginx تضيف القاعدة داخل كتلة server ثم تعيد تحميل الإعدادات:

if ($http_user_agent ~* "(Bytespider|CCBot|Meta-ExternalAgent)") {
    return 403;
}

وعلى Apache تضعها في ملف .htaccess بجذر الموقع، وهو الخيار المتاح لك على الاستضافة المشتركة التي لا تملك فيها صلاحية تعديل إعدادات الخادم:

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} (Bytespider|CCBot|Meta-ExternalAgent) [NC]
RewriteRule ^ - [F,L]

وإن كان موقعك خلف Cloudflare فالطبقة الأنسب هي قاعدة WAF مخصّصة تحجب قبل أن يلمس الطلب استضافتك، فتوفّر الموارد كاملة. تصنّف Cloudflare زواحف الذكاء الاصطناعي إلى ثلاث فئات: زواحف البحث، وزواحف الوكلاء التي تنفّذ طلبًا لحساب مستخدم لحظيًا، وزواحف التدريب. انتبه إلى تحذير مهم قبل أن تضغط زرّ حجب فئة التدريب: بعض الزواحف متعدّدة الأغراض مثل Googlebot وApplebot تدخل ضمن هذا التصنيف، فحجب الفئة كاملة قد يقطع زحف البحث الذي تعتمد عليه.

الطبقة	توقف الزاحف المنتحل؟	توفّر موارد الخادم؟	ما تحتاجه	خطر الخطأ
robots.txt	لا	لا	وصول لملفات الموقع فقط	منخفض، والتراجع فوري
‎.htaccess على Apache	نعم	جزئيًا، بعد وصول الطلب	وصول FTP أو مدير الملفات	متوسّط، خطأ في الصياغة يعطّل الموقع
قاعدة Nginx	نعم	جزئيًا، بعد وصول الطلب	صلاحية على الخادم وإعادة تحميل	متوسّط، يحتاج اختبار الإعداد قبل التطبيق
قاعدة WAF على Cloudflare	نعم	نعم، قبل وصول الطلب	حساب Cloudflare ولو مجاني	منخفض، والتعطيل بضغطة

القاعدة العملية أن تبقي robots.txt كإعلان نيّة علني للجميع، وتضيف طبقة الخادم فوقه لمن يتجاهله فقط. حجب وكيل على الخادم دون ذكره في robots.txt يترك انطباعًا بأنك تحجب سرًّا، وحجبه في robots.txt وحده يترك الباب مفتوحًا لمن لا يقرأ الملف. الطبقتان معًا تعطيانك موقفًا معلنًا وتنفيذًا فعليًا في الوقت نفسه.

وبعد أي قاعدة جديدة، اختبرها فورًا بمحاكاة الوكيل من سطر الأوامر والتأكّد أنك تستقبل 403، ثم اختبر وكيل متصفّح عادي والتأكّد أنك تستقبل 200. تخطّي هذه الخطوة هو أشيع سبب لحجب موقع كامل عن جوجل بقاعدة كانت تستهدف زاحفًا واحدًا.

ماذا تفعل إن استُنزفت موارد خادمك بالزحف؟

ابدأ بتحديد المصدر من السجلّ قبل أي حجب. رتّب الطلبات حسب الوكيل في آخر أربع وعشرين ساعة، فغالبًا يأتي أكثر من نصف الحمل من وكيل واحد. بعدها اختر التدرّج: خنق المعدل أولًا، ثم منع المسارات الثقيلة، ثم الحجب الكامل كملاذ أخير.

الخطأ الشائع هو القفز إلى الحجب الكامل عند أول إنذار من الاستضافة. المشكلة في أغلب الحالات ليست عدد الزواحف بل عدد الروابط التي يجدها الزاحف أمامه. صفحات نتائج البحث الداخلي، ومعاملات فرز المتجر وفلترته، وأرشيف التقويم، كلها تولّد عددًا شبه لانهائي من الروابط المختلفة التي تؤدّي إلى محتوى متشابه، فيدور الزاحف فيها بلا نهاية ويستهلك موارد لا يستفيد منها أحد.

User-agent: *
Disallow: /?s=
Disallow: /*?orderby=
Disallow: /*?filter_
Disallow: /*?add-to-cart=
Disallow: /*?replytocom=

الدرجة	الإجراء	متى تستخدمه	ما تخسره
الأولى	منع المسارات المولّدة للروابط اللانهائية	دائمًا، حتى قبل ظهور المشكلة	لا شيء، هذه الصفحات لا قيمة لها في البحث
الثانية	تفعيل التخزين المؤقّت على مستوى الصفحة	حين يكون الحمل من قاعدة البيانات لا من عرض النطاق	لا شيء، والسرعة تتحسّن للزوّار أيضًا
الثالثة	خنق المعدل بقاعدة على الخادم أو Cloudflare	حين يستمرّ وكيل واحد في تجاوز حصّته	بطء في اكتشاف صفحاتك الجديدة
الرابعة	حجب الوكيل كاملًا	حين يتجاهل كل ما سبق أو ينتحل هوية	غياب كامل عن ذلك المحرّك

يبقى توجيه Crawl-delay خيارًا يستحقّ التجربة، لكن لا تعتمد عليه وحده: بعض الزواحف تحترمه وبعضها يتجاهله، وجوجل لا يدعمه أصلًا. الخنق الحقيقي يحدث على مستوى الخادم أو جدار الحماية حيث تحدّد عدد الطلبات المسموح بها في الدقيقة لعنوان واحد، وترد بالرمز 429 لما يتجاوزها بدل أن تنهار الاستضافة كلها.

وقبل أن تصعد أي درجة، تأكّد أن الحمل ليس من زاحف منتحل يتظاهر بأنه GPTBot أو ClaudeBot. تنشر OpenAI مثلًا نطاقات عناوين زواحفها في ملفات JSON عامة منفصلة لكل وكيل، ومطابقة العنوان بهذه القوائم تحسم الأمر في دقيقة. حجب المنتحل لا يكلّفك شيئًا، أما حجب الزاحف الحقيقي فيكلّفك ظهورك كاملًا في ذلك المحرّك.

هل حجب التدريب يضرّ بترتيبك في جوجل؟

لا يضرّ إطلاقًا. Google-Extended وكيل منفصل تمامًا عن Googlebot، وقد صرّحت جوجل بأن حجبه لا يؤثّر على الفهرسة ولا على الترتيب ولا على الظهور في نتائج البحث. الشرط الوحيد ألّا تحجب Googlebot نفسه بالخطأ في قاعدة عامة.

هذا الفصل نفسه ينطبق على المنصات الأخرى، ومن هنا تأتي قيمة التعامل مع كل وكيل باسمه بدل القواعد الشاملة. القاعدة العامة User-agent: * هي أخطر سطر في ملفك، لأنها تشمل ما لم تقصده.

أي إعداد يناسب نوع موقعك؟

لا يوجد إعداد واحد يصلح للجميع، والفارق الحاسم هو مصدر دخلك. الموقع الذي يبيع خدمة يربح من كل ذكر في إجابة، فيسمح للجميع. والموقع الذي يبيع المحتوى نفسه يخسر بكل نسخة تُؤخذ منه، فيمنع التدريب ويسمح بالاسترجاع المستشهِد فقط.

نوع الموقع	زواحف التدريب	زواحف الاسترجاع	السبب
موقع خدمات أو شركة	اسمح	اسمح	كل ذكر لاسمك في إجابة عميل محتمل مكسب مباشر
متجر إلكتروني	اسمح	اسمح مع منع مسارات السلة والحساب	ظهور منتجاتك في التوصيات يقود إلى شراء
نشاط محلي	اسمح	اسمح	الأسئلة المحلية قصيرة والإجابة عليها تذكر اسمًا واحدًا غالبًا
موقع أخبار أو ناشر	امنع	اسمح	المادة الخام هي المنتَج، والاسترجاع يعيد الزائر إليك
مدوّنة تقنية أو تعليمية	امنع أو تفاوض	اسمح	الشروح الطويلة تُبتلع كاملة في التدريب دون إحالة
منصّة اشتراك مدفوع	امنع	اسمح للصفحات المجانية فقط	المحتوى خلف الاشتراك أصل مالي لا يُعوّض
موقع وثائق منتج	اسمح	اسمح	حضورك في إجابات المطوّرين يقلّل عبء الدعم ويزيد التبنّي

راجع صفّك في الجدول مرة كل ربع سنة لا كل شهر، لأن الإعداد قرار تجاري يتبع نموذج دخلك لا موضة تقنية. الحالة الوحيدة التي تستدعي مراجعة عاجلة هي تغيّر مصدر دخلك نفسه: ناشر أطلق اشتراكًا مدفوعًا، أو موقع خدمات بدأ يبيع تقارير جاهزة، أو متجر فتح قسم محتوى تعليمي صار يجلب نصف زواره.

وإن ترددت بين صفّين، ابدأ بالأكثر انفتاحًا وراقب ثلاثة أشهر. السماح ثم المنع لاحقًا يكلّفك فترة ظهور تكسبها مجانًا، أما المنع من البداية فيجعلك تقيس أثر قرار لم تجرّب بديله قطّ. سجّل تاريخ كل تغيير في الإعداد بجانب أرقام ظهورك، فهذا السجلّ هو الشيء الوحيد الذي سيفسّر لك بعد سنة لماذا تحرّك رقمك صعودًا أو هبوطًا.

ماذا تفعل الآن؟

افتح ملف robots.txt اليوم وتأكد من أمرين فقط: أن زواحف الاسترجاع الستة مسموح لها، وأن لا قاعدة عامة تحجب ما لم تقصد حجبه. هذان الفحصان يأخذان خمس دقائق ويحسمان ما إن كنت مؤهّلًا للظهور أصلًا.

وبعد أن تفتح الباب، تبقى المسألة في جودة ما سيجده الزاحف خلفه. ابدأ من المحتوى القابل للاستخراج لتعرف ما الذي يجعل فقرتك تُقتبس بعد أن يصل إليها.

الأسئلة الشائعة

هل أحجب GPTBot أم أسمح له؟

القرار تجاري. اسمح إن كنت تبني حضورًا وتريد أوسع انتشار ولا يضرّك أن يصبح محتواك جزءًا من معرفة النموذج. امنع إن كان المحتوى نفسه هو منتجك الذي تبيعه. حجبه لا يؤثّر على ظهورك في بحث ChatGPT لأن ذلك وكيل منفصل.

ما أثر حجب Google-Extended على ترتيبي؟

لا أثر له. أعلنت جوجل صراحةً أن هذا الوكيل يخصّ استخدام المحتوى في تدريب نماذج Gemini فقط، ولا علاقة له بالفهرسة أو الترتيب أو لمحات الذكاء الاصطناعي التي تعتمد على Googlebot. الحجب آمن تمامًا من ناحية السيو.

هل ملف llms.txt بديل عن robots.txt؟

ليس بديلًا ولا مكمّلًا فعليًا. ملف robots.txt معيار مدعوم فعلًا من كل الزواحف الكبرى، بينما لا يوجد دليل يُذكر على قراءة llms.txt. راجع الأدلة الكاملة حول llms.txt قبل أن تنفق وقتًا عليه.

لماذا لا تظهر زيارات الزواحف في Google Analytics؟

لأن أدوات التحليلات تعتمد على تنفيذ جافاسكربت في المتصفّح، والزواحف لا تنفّذه. الطريقة الوحيدة لرصدها هي سجلّات الوصول على الخادم، أو لوحات تحليل الزواحف التي توفّرها بعض شبكات التوصيل مثل Cloudflare.

هل يستهلك الزحف موارد خادمي؟

نعم، وقد يكون الاستهلاك ملحوظًا على المواقع الكبيرة. إن رأيت ضغطًا حقيقيًا، استخدم توجيه Crawl-delay للزواحف التي تحترمه، أو حدّد المعدّل على مستوى الخادم، بدل الحجب الكامل الذي يكلّفك الظهور.

كل كم أراجع إعدادات الزواحف؟

كل ثلاثة أشهر على الأقل. تُطلق الشركات وكلاء جديدة وتغيّر أسماء القديمة باستمرار، وملف كُتب قبل عام صار ناقصًا حتمًا. اجعلها مراجعة دورية مثل مراجعة الروابط المكسورة.

هل أحتاج ملف robots.txt أصلًا إن كنت أسمح للجميع؟

لا تحتاجه تقنيًا، فغياب الملفّ يعني السماح الكامل افتراضيًا. لكن وجوده مفيد لأنه يمنعك من الاعتماد على الافتراضات، ويجعل قرارك مكتوبًا وقابلًا للمراجعة، ويتيح لك استثناء مسارات إدارية لا معنى لزحفها.

ما الفرق بين Disallow في robots.txt ووسم noindex؟

الأول يمنع الزحف إلى الصفحة، والثاني يسمح بالزحف ويمنع الفهرسة. لا تجمع بينهما على الصفحة نفسها، لأن منع الزحف يمنع المحرّك من رؤية وسم noindex أصلًا فتبقى الصفحة مفهرسة بلا وصف.

هل يؤثّر حجب الزواحف على سرعة موقعي؟

الحجب يخفّف الحمل فعلًا على المواقع الكبيرة التي تُزحَف بكثافة. لكن إن كان الضغط هو المشكلة فالحلّ في تحديد المعدّل لا في الحجب الكامل، لأن الحجب يكلّفك الظهور بينما التحديد يحلّ مشكلة الموارد وحدها.

هل تحتاج المواقع الصغيرة إلى هذا الإعداد؟

تحتاج الفحص لا الإعداد المعقّد. الأهمّ للموقع الصغير هو التأكّد من عدم وجود حجب غير مقصود، سواء من قاعدة عامّة في الملفّ أو من إضافة حماية أو من إعداد افتراضي في شبكة التوصيل.

ماذا لو كان موقعي خلف Cloudflare؟

راجع إعدادات التحكّم بزواحف الذكاء الاصطناعي في لوحة Cloudflare قبل أي شيء. بدأت الشركة منذ يوليو 2025 حجب هذه الزواحف افتراضيًا للنطاقات الجديدة، وقد تكون محجوبًا بإعداد لم تختره ولم تعلم به.

هل يمكن السماح لزاحف بمسارات دون أخرى؟

نعم، باستخدام Allow وDisallow لمسارات محدّدة تحت الوكيل نفسه. هذا مفيد لمن يريد إتاحة المدوّنة وحجب أرشيف مدفوع أو منطقة أعضاء. اجعل القواعد الأخصّ قبل الأعمّ لتفادي التعارض.