سيو

ماهو ملف robots.txt

ملف robots.txt هو ملف نصي يمكن استخدامه للتحكم في برامج الزحف عند زيارة موقع الويب. على سبيل المثال ، يمكنك تحديد المناطق / الصفحات الخاصة بالمجال التي يمكن البحث عنها بواسطة الزاحف وأيها لا.

إن ملف robots.txt هو أول وثيقة يتصل بها الزاحف عندما يزور موقعًا إلكترونيًا. عندها فقط يتم الزحف إلى محتويات موقع الويب المتبقية ، وإذا لزم الأمر ، يتم فهرستها وفقًا لتعليمات ملف robots.txt .

بالإضافة إلى ذلك ، يمكنك تحديد مرجع إلى ملف Sitemap في ملف robots.txt حتى يتمكن الزواحف من فهم بنية عنوان URL لموقع الويب بسهولة أكبر وبالتالي الزحف إليه بشكل أفضل.

كيف تبدو بنية ملف الروبوتات؟

هكذا تبدو بنية robots.txt :

User-agent: *
Disallow:

User-agent

بعد “User-agent” ، ندخل الزاحف الذي يجب أن تشير إليه الإرشادات التالية. مع العلامة النجمية (*) نتعامل مع جميع برامج الروبوت.

إذا كنا نريد فقط معالجة روبوت معين ، يتعين علينا إدخال الاسم المقابل بدلاً من العلامة النجمية. بناءً على محرك البحث ، تختلف أسماء برامج الزحف على النحو التالي:

  • Googlebot (Google)
  • Googlebot-Image (Google Bildersuche)
  • Adsbot-Google (Google AdWords)
  • Googlebot-Mobile (Google Mobile)
  • Slurp (Yahoo)
  • Bingbot (Bing)

لذلك إذا أردنا إحالة تعليماتنا على وجه التحديد إلى Googlebot ، فنحن بحاجة إلى كتابة ما يلي في ملف الروبوتات:

User-agent: Googlebot
Disallow:

Disallow

يسمح لنا Disallow بمنع الزاحف من دخول أجزاء معينة من موقعنا. إذا دخلنا هنا ، كما في مثالنا ، لا شيء ، فقد يدخل جميع مساحات الصفحة.

من ناحية أخرى ، إذا أردنا منعه من دخول الصفحة بأكملها ، فيجب وضع العبارة التالية بعد النقطتين:

Disallow: /

إذا كنا نريد فقط حظر الزحف إلى الدلائل الفردية أو الملفات ، فإن الأمر يكون كالتالي :

Disallow: /wp-admin/
Disallow: /Userprofile/profil.html
Disallow /meineprivatenFotos/

خريطة موقع XML

كما ذكرنا أعلاه ، يمكننا أيضًا توفير مرجع إلى ملف Sitemap XML. يتم ذلك عبر هذا البيان:

Sitemap:

موقع الجوال حالة خاصة

باستخدام ملف robots.txt ، يمكنك أيضًا “فصل” موقع ويب للجوال من موقع ويب لسطح المكتب. وهي ، عن طريق حظر روبوتات الجوال على متغير سطح المكتب والروبوتات “العادية” على موقع الجوال. البيان سوف يبدو مثل هذا:

Desktop-Site:
User-Agent: Googlebot-Mobile
Disallow: /
Mobile Site:
User-Agent: Googlebot
Disallow: /

كيف يمكنني إنشاء ملف robots.txt ؟

يمكن إنشاء ملف robots.txt باستخدام محرر بسيط ، على سبيل المثال مع برنامج Notepad  المجاني (برامج معالجة النصوص مثل Microsoft Word).

ما عليك سوى إنشاء ملف جديد بالإرشادات المطلوبة وحفظه تحت اسم “robots.txt”.

بعد ذلك ، يجب تحميل الملف عبر برنامج FTP مثل FileZilla في الدليل الجذر لموقع الويب الخاص بك.

كيف يمكنني الاتصال بملف robots.txt ؟

نظرًا لأن ملف robots.txt موجود دائمًا في الدليل الجذر لموقع الويب ، فيمكن استدعاؤه عن طريق اسم الملف مباشرة، على سبيل المثال

إذا تلقيت صفحة خطأ 404 ، فلا يوجد ملف robots.txt أو تم تحميله إلى الدليل الخاطئ.

لماذا عليك حظر برامج الزحف من زيارة صفحات معينة؟

هناك العديد من الأسباب التي قد تجعل من المفيد منع زحف صفحات معينة:

  1. ليس كل برامج الزحف التي تزور موقعك لديها نوايا حسنة. هناك العديد من الروبوتات التي يكون هدفها الوحيد مسح موقع الويب الخاص بك واستخراج عنوان البريد الإلكتروني الخاص بك لأغراض البريد العشوائي السبام .
  2. ربما لم تكمل موقع الويب الخاص بك حتى الآن ، أو قد يحتوي على أجزاء معينة للحماية.
  3. موقعك لديه مناطق الاعضاء يجب ولا ترغب بظهورها في ذاكرة التخزين المؤقت لـ Google الكاش.
  4. هناك أشياء قد ترغب في الحفاظ عليها. قد تكون هذه الاشياء عبارة عن صورة محددة أو محتوى محمي بحقوق الطبع والنشر.

ولكن احذر: أن حظر الزحف لموقع الويب لا يعني بالضرورة أنه غير مدرج في فهرس محرك البحث. إذا تم تضمين صفحة بالفعل في الفهرس ، فلا يمكن إزالتها عن طريق بيان عدم السماح “noindex“.

 اختبر ملف robots.txt باستخدام Google Search Console

توفر Google اختبارًا مجانيًا لبرنامج robots.txt في Google Search Console. يمكنك استخدام هذا للتحقق مما إذا كانت جميع الإرشادات الموجودة في ملف الروبوتات قد تم تنفيذها بشكل صحيح.

إذا تم تخزين ملف الروبوتات بشكل صحيح ، فسيتم عرضه هنا. يجب أن يكون هناك 0 رسائل خطأ و 0 تحذيرات.

يمكنك أيضًا إدخال عنوان URL أسفله للتحقق مما إذا كان قد تم حظره بواسطة ملف robots.txt.

 

أيسر موفق

متخصص في كتابة المقالات التحليلية والسيو، مهتم بتطوير محركات البحث وتحسين جودة المحتوى العربي على الإنترنت، خبرة أكثر من 15 سنة في مجال الكتابة والتسويق بالمحتوى ووضع استراتيجات المحتوى وخُطط التسويق بشكل عام.
زر الذهاب إلى الأعلى
Don`t copy text!