لمنع جوجل مؤقتًا من الزحف إلى موقع ويب ، هناك خدعة بسيطة. ولكن ينبغي حقا أن تستخدم فقط لفترة قصيرة.
ما هي الخيارات لمنع جوجل من الزحف إلى موقع ويب؟ يمكن أن يكون هناك العديد من الأسباب المحتملة لذلك ، مثل عندما يتوقع موقع ويب عددًا كبيرًا من الزيارات لفترة قصيرة ، ولا ينبغي زيادتها عن طريق الزحف.
كانت جلسة Hangout الحالية لمشرفي المواقع حول هذا السؤال. أراد أحد المستخدمين معرفة كيف يمكنه تقليل معدل زحف Google مؤقتًا عبر Black Week.
أجاب يوهانس مولر أن تغيير معدل الزحف إلى “منخفض” في الاعدادت لن يأخذ في الاعتبار سوى تأخير يوم واحد.
البديل هو إرجاع رمز الحالة 503 عند استرجاع ملف robots.txt. يتعرف Googlebot على هذه الحالة ثم يتوقف عن الزحف إلى الموقع. ستحاول Google بعد ذلك مرارًا وتكرارًا الاتصال بـ robots.txt. هذا احتمال ، إذا تم فهرسة كل شيء بالفعل حسب الرغبة ولا تريد قفل كل شيء عن طريق “عدم السماح” في ملف robots.txt. بمجرد استرداد ملف robots.txt ، تعمل ميزة الزحف مرة أخرى.
ولكن احذر: إذا كان robots.txt غير متاح لفترة طويلة ، فقد يتسبب ذلك في توقف جوجل عن الزحف إلى المواقع وإزالته في النهاية من الفهرس . لذلك ، يجب استخدام مقياس مثل الموضح أعلاه مؤقتًا فقط.
