ما هو ملف robots.txt

ملف robots.txt هو مرتبط بموقعك الالكترونى يُستخدم لتقييد روبوتات الزحف المختلفة للزحف أو عدم الزحف إلى أجزاء من الموقع. في هذه المقالة سنعرض لك كيفية إنشاء ملف robots.txt مثالي للسيو وكل ما هو مهم .

ما هو ملف robots.txt

بالرجوع بالذاكرة إلى السنوات السابقة عندما كان الإنترنت في بدايته ذات امكانيات محدودة ، ابتكر المطورون طريقة للزحف إلى الصفحات الجديدة علي الانترنت وفهرستها. أطلقوا عليها اسم “الروبوتات” أو “العناكب”.

من حين لآخر ، تتجول هذه الروبوتات في مواقع الانترنت التي لم يكن من المفترض أن يتم الزحف إليها وفهرستها ، مثل المواقع التي تخضع للصيانة. أوصى مؤسس Aliweb وهو اقدم محرك بحث علي الانترنت انشاء أول محرك بحث في العالم ، وقرر انشاء نظام يحدد ما يجب علي الروبوتات اتباعه.

تم الوصول الي حل مناسب في يونيو عام 1994 من قبل مجموعة من التقنيين العباقرة على الإنترنت ، وسمي بأسم “بروتوكول استبعاد الروبوتات”.

ملف robots.txt هو تنفيذ لهذا البروتوكول. بروتوكول ملف الروبوتس يحدد الإرشادات التي يجب أن يتبعها كل روبوت. بما في ذلك روبوتات جوجل. تعمل بعض الروبوتات غير المشروعة مثل البرامج الضارة وبرامج التجسس وما يشبهها خارج اطار هذه القواعد.

يمكنك إلقاء نظرة حول ملف روبوتس أي موقع عن طريق كتابة دومين الموقع URL وإضافة: /robots.txt في النهاية.

هذا هو الشكل الافتراضي لملف robots.txt

User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /wp-admin/

Sitemap: https://example.com/sitemap_index.xml

ملف robots.txt هو بروتوكول يأمر الروبوتات او عناكب البحث بعدم ارشفة وفهرسة صفحات معينة داخل موقعك، روبوتات محركات البحث تستشير ملف robots.txt قبل البدء فى فهرسة الموقع.

أين يوجد ملف Robots.txt في الموقع

يتم تخزين ملف robots.txt في المجلد الرئيسي مع ملفات الموقع مثله مثل ملف خريطة الموقع sitemap لتحديد موقع الملف افتح cPanel وستتمكن من العثور على الملف في public_html.

 

لماذا تحتاج الي ملف robots.txt في موقعك

إذا لم يكن لديك ملف robots.txt ، فسيظل محرك البحث يزحف ويفهرس موقعك. ومع ذلك ، لن تكون قادرًا على إخبار محركات البحث بالصفحات أو المجلدات التي لا يجب الزحف إليها.

لن يكون للملف تأثير كبير في بداية انشاء الموقع لأول مرة وليس لديك الكثير من المحتوى.

لكن مع نمو الموقع وزيادة حجم المحتوى فمن المحتمل أن تريد التحكم بشكل أفضل في كيفية زحف عناكب البحث الي موقعك وفهرسته.

هذا هو السبب.

عناكب البحث تقوم بالزحف إلى عدد معين من الصفحات خلال جلسة الزحف. إذا لم ينهوا الزحف إلى جميع صفحات موقعك ، فسوف يعودون ويستأنفون عملية الزحف في المرة المقبلة.

هذا يمكن أن يبطئ معدل فهرسة موقعك.

يمكنك إصلاح ذلك عن طريق منع روبوت البحث من محاولة الزحف إلى الصفحات غير الضرورية مثل صفحات ملفات الووردبريس وملفات قوالب الووردبريس و الاضافات.

بإلغاء السماح بالوصول الي الصفحات غير الضرورية ، يمكنك تحديد الصفحات المهمة في موقعك. هذا يساعد محركات البحث في الزحف إلى مزيد من صفحات موقعك وفهرستها في أسرع وقت ممكن.

سبب آخر لاستخدام ملف robots.txt هواستخدامه عندما تريد منع محركات البحث من فهرسة مقال أو صفحة داخل موقعك.

ليست الطريقة الأفضل إخفاء المحتوى عن الزوار ، من خلال ملف robots يمكنك منعهم من الظهور في نتائج البحث.

ما هي اوامر ملف robots.txt المثالية

تستخدم العديد من المدونات ملف robots.txt بسيط جدًا. قد يختلف محتواه اعتمادًا على احتياجات الموقع المحدد:

User-Agent: *

Disallow:

Sitemap: https://www.example.com/post-sitemap.xml

Sitemap: https://www.example.com/page-sitemap.xml

يسمح ملف robots هذا لجميع العناكب بفهرسة محتوي الموقع بالكامل ويوفر لهم رابط لملفات خريطة الموقع Sitemap XML.

بالنسبة إلى مواقع WordPress ، نوصي استخدام النص التالي في ملف robots.txt:

User-Agent: *

Allow: /wp-content/uploads/

Disallow: /wp-content/plugins/

Disallow: /wp-admin/

Disallow: /readme.html

Disallow: /refer/

Sitemap: https://www.example.com/post-sitemap.xml

Sitemap: https://www.example.com/page-sitemap.xml

 

هذا الكود يخبر روبوتات البحث بفهرسة جميع صور وملفات WordPress. ولا يسمح لروبوتات البحث بفهرسة ملفات الووربريس المرفوعة مثل الصور ، ومجلد wp-admin ، وملف WordPress التمهيدي ، والروابط التابعة.

عملية إضافة روابط ملفات خريطة الموقع Sitemap إلى ملف robots.txt ، تسهل على Google bots العثور على جميع الصفحات على موقعك.

الآن وبعد أن عرفت كيف يبدو ملف robots.txt دعونا نلقي نظرة على كيفية إنشاء ملف robots.txt في WordPress.

كيفية انشاء ملف robots.txt لمواقع الووردبريس ؟

هناك طريقتان لإنشاء ملف robots في الووردبريس. يمكنك اختيار الطريقة التي تناسبك.

طريقة 1: من خلال تحرير ملف Robots.txt باستخدام اضافة Yoast SEO

إذا كنت تستخدم اضافة Yoast SEO ، فهذه الطريقة مناسبة لك لانشاء ملف robots.txt من خلال نفس الاضافة.

ببساطة سجل الدخول الي موقعك ثم قف بمؤشر الماوس علي SEO الموجودة في القائمة الجانبية داخل لوحة تحكم الووردبريس، ستظهر قائمة منسدلة اختر منها Tools ثم اضغط علي File Editor.

في الصفحة التالية ، داخل اضافة Yoast SEO ستجد ملف robots الخاص بالموقع.

إذا لم يكن لديك ملف robots.txt ، فستقوم اضافة Yoast SEO بإنشاء ملف robots.txt للموقع.

سيتم انشاء ملف robots.txt افتراضي، قم بحذف القواعد التالية من الملف:

* :User-agent
/ :Disallow

من المهم أن تقوم بحذف هذا النص لأنه يمنع جميع محركات البحث من الزحف إلى موقع.

بعد حذف النص الافتراضي يمكنك المتابعة وإضافة قواعد ملف الروبوتس الخاصة بموقعك. نوصي باستخدام تنسيق ملف robots.txt المثالي الذي شاركناه في بداية المقال.

بمجرد الانتهاء من ذلك لا تنس النقر على زر “حفظ ملف robots.txt” لتخزين التغييرات التي قمت بها.

طريقة 2: تحرير ملف Robots.txt يدويًا باستخدام FTP

للتعديل علي الملف من خلال هذه الطريقة ، ستحتاج إلى استخدام FTP لتحرير ملف الروبوتس.

ما عليك سوى انشاء اتصال ببيانات استضافة الموقع من خلال FTP.

بمجرد تسجيل الدخول ستتمكن من رؤية ملف robots.txt في المجلد الرئيسي لموقعك.

إذا لم تجد هذا الملف فمعني هذا الملف غير موجود في موقعك. في هذه الحالة يمكنك فقط إنشاء ملف جديد بأسم robots.txt.

روبوتس هو ملف نصي عادي مما يعني أنه يمكنك تنزيله على جهاز الكمبيوتر وتحريره باستخدام أي محرر نص عادي مثل برنامج Notepad أو TextEdit. بعد حفظ التغييرات ، يمكنك تحميله مرة أخرى إلى مجلد الموقع الرئيسي.

بالفيديو شرح تفاصيل ملف robots

بعد الانتهاء من الملف قم بالخطوة الاخيرة وهي اضافة الملف الي جوجل من خلال ادوات مشرفى المواقع لاتباع عناكب البحث الارشادات الموجودة داخل الملف.

من خلال هذا المقال تعرف علي كيفية اضافة الموقع الي ادوات مشرفي المواقع.

اذا كان لديك استفسار بخصوص ملف robots.txt اكتبه لنا في التعليق اسفل المقال.