في ووردبريس 5.3 ، هناك تغيير مهم لمواقع الويب التي لا ينبغي فهرستها. بدلاً من إدخال في ملف robots.txt ، يتم استخدام علامات Meta Robots الآن.
في ووردبريس ، هناك خيار لاستبعاد فهرسة موقع ويب عن طريق محركات البحث. تحت عنوان “الظهور لمحركات البحث” ، يمكنك عمل هذا الاختيار
هذه الميزة مفيدة ، على سبيل المثال ، لمواقع الويب في مرحلة التطوير.
حتى الآن ، أدى تحديد هذا الخيار إلى إدخال في ملف robots.txt لموقع الويب المعني باستخدام “Disallow: /”. تم تصميم هذا التوجيه لاستبعاد تتبع ارتباطات الموقع بأكمله.
ومع ذلك ، صحيح أن الصفحات المحظورة بواسطة ملف robots.txt يمكن أن تظهر في نتائج بحث Google ، على سبيل المثال إذا كان هناك روابط خارجية للصفحات. لا يعد الحظر عبر ملف robots.txt طريقة آمنة ضد الفهرسة.
لهذا السبب ، قام ووردبريس بإجراء تغيير مع الإصدار 5.3. من الآن فصاعدًا ، يتم تعيين علامة Meta Robots “noindex ، nofollow” بدلاً من الإدخال في ملف robots.txt على جميع الصفحات. هذه الطريقة أكثر أمانا.
لمنع فهرسة الموارد مثل الصور أو ملفات PDF أو مقاطع الفيديو ، يجب دائمًا تعيين علامة X-Robots على “noindex” في رأس HTTP. نظرًا لأن الموارد يتم تسليمها مباشرة من الخادم ، فإن هذا الإعداد غير ممكن في ووردبريس . يجب أن يتم ذلك في تكوين الخادم.