جوجل ملف robots.txt يتم فهرسته مثل عناوين URL - الروابط

جوجل : ملف robots.txt يتم فهرسته مثل عناوين URL

بالنسبة إلى جوجل فإن ملف robots.txt هو عنوان رابط – URL . يمكن فهرسته بنفس الطريقة . ولكن هناك حالات خاصة للزحف.

ملف robots.txt له معنى خاص لمواقع الويب ، لأنه يحدد عناوين URL والدلائل التي يمكن الزحف إليها بواسطة محركات البحث المختلفة وأيها لا.

تتعامل جوجل مع ملف robots.txt مثل عناوين URL لمواقع الويب . هذا ما كتبه غاري إيليس على تويتر. أيضًا  يمكن فهرسة ملف robots.txt ، ومن الممكن اختياره كرابط Canonical .

هذا يعني: ما إذا كان بإمكان جوجل فهرسة ملف robots.txt أم لا ، فستنظر جوجل في الملف. الشرط الأساسي لذلك هو أنه يمكن استدعاء ملف robots.txt بدون مشاكل ، يمكن أن تؤثر المشكلات المستمرة في استدعاء ملف robots.txt على الزحف وحتى على الموقع .

ومن المثير للاهتمام أيضًا أن محتويات ملف robots.txt يمكن أن تظهر في نتائج البحث. هناك شيء مشابه كان معروفًا بالفعل لملفات XML Sitemap ، ولهذا يوصى بتعيين هذا الملفات على “noindex” عدم التتبع .

تقيم المقال

معدل التقيم 0 / 5. مرات التقيم: 0

كن أول من يقيم هذا المنشور.

عن أيسر موفق

أيسر موفق
متخصص في كتابة المقالات التحليلية والسيو، مهتم بتطوير محركات البحث وتحسين جودة المحتوى العربي على الإنترنت، خبرة أكثر من 15 سنة في مجال الكتابة والتسويق بالمحتوى ووضع استراتيجات المحتوى وخُطط التسويق بشكل عام.

شاهد أيضاً

يوهانس مولر ينتقد المحتوى الذي تم إنشاؤه تلقائيا

يوهانس مولر ينتقد المحتوى الذي تم إنشاؤه تلقائيا

انتقد يوهانس مولر من جوجل موقعًا إلكترونيًا به محتوى يتم إنشاؤه تلقائيًا.  منذ بضع سنوات …

اترك تعليق

avatar
  Subscribe  
نبّهني عن