عينة ملفات robots.txt لموقع الويب الخاص بك

سيخبر ملف robots.txt المخزن في جذر موقعك الإلكتروني برامج روبوت الويب مثل محركات البحث عن العناكب بالدلائل والملفات التي يُسمح لهم بالزحف إليها. من السهل استخدام ملف robots.txt ، ولكن هناك بعض الأشياء التي يجب عليك تذكرها:

1. ستتجاهل روبوتات Blackhat على الويب ملف robots.txt الخاص بك. الأنواع الأكثر شيوعًا هي برامج الروبوتات الضارة وبرامج الروبوت التي تبحث عن عناوين البريد الإلكتروني للحصاد.
2. سيكتب بعض المبرمجين الجدد روبوتات تتجاهل ملف robots.txt. يتم ذلك عادة عن طريق الخطأ.
3. يمكن لأي شخص الاطلاع على ملف robots.txt الخاص بك. يطلق عليها دائمًا اسم robots.txt ويتم تخزينها دائمًا في جذر موقع الويب.
4. أخيرًا ، إذا ربط شخص ما ملفًا أو دليلًا تم استبعاده بواسطة ملف robots.txt من صفحة لم يتم استبعادها بواسطة ملف robots.txt ، فقد تجدها محركات البحث على أي حال.

لا تستخدم ملفات robots.txt لإخفاء أي شيء مهم. بدلاً من ذلك ، يجب عليك وضع معلومات مهمة خلف كلمات مرور آمنة أو تركها على الويب تمامًا.

كيفية استخدام هذه الملفات عينة

انسخ النص من النموذج الأقرب إلى ما تريد تنفيذه ، والصقه في ملف robots.txt. غيّر أسماء الروبوت ، والدليل ، والملفات لتتوافق مع التهيئة المفضلة لديك.

ملفان Robots.txt أساسيان

وكيل المستخدم: *عدم السماح: /

هذا الملف يقول أن أي إنسان آلي

وكيل المستخدم: *) أن الوصول إليها يجب أن يتجاهل كل صفحة على الموقع (

عدم السماح: /).

وكيل المستخدم: *عدم السماح:

هذا الملف يقول أن أي إنسان آلي

وكيل المستخدم: *) أن الوصول إليها مسموح به لعرض كل صفحة على الموقع (

عدم السماح:).

يمكنك أيضًا إجراء ذلك عن طريق ترك ملف robots.txt فارغًا أو عدم وجوده على موقعك على الإطلاق.

حماية الدلائل المحددة من الروبوتات

وكيل المستخدم: *عدم السماح: / cgi-bin /عدم السماح: / مؤقت /

هذا الملف يقول أن أي إنسان آلي

وكيل المستخدم: *) أن الوصول إليها يجب أن يتجاهل الأدلة / cgi-bin / و / temp / (

عدم السماح: / cgi-bin / Disallow: / temp /).

حماية صفحات محددة من الروبوتات

وكيل المستخدم: *Disallow: /jenns-stuff.htmعدم السماح: /private.php

هذا الملف يقول أن أي إنسان آلي

وكيل المستخدم: *) أن الوصول إليها يجب أن يتجاهل الملفات / jenns-stuff.htm و /private.php (

Disallow: /jenns-stuff.htm Disallow: /private.php).

منع روبوت محدد من الوصول إلى موقعك

User-agent: Lycos / x.xعدم السماح: /

يقول هذا الملف أن Lycos بوت (

User-agent: Lycos / x.x) غير مسموح بالوصول إلى أي مكان على الموقع (

عدم السماح: /).

اسمح بوصول روبوت واحد محدد فقط

وكيل المستخدم: *عدم السماح: /وكيل المستخدم: Googlebotعدم السماح:

هذا الملف لا يسمح أولاً باستخدام جميع برامج الروبوت كما فعلنا أعلاه ، ثم يسمح لبرنامج Googlebot صراحة (

وكيل المستخدم: Googlebot) الوصول إلى كل شيء (

عدم السماح:).

الجمع بين خطوط متعددة للحصول على الاستثناءات التي تريدها بالضبط

في حين أنه من الأفضل استخدام سطر وكيل المستخدم الشامل تمامًا ، مثل User-agent: * ، يمكنك أن تكون محددًا كما تريد. تذكر أن الروبوتات تقرأ الملف بالترتيب. لذا إذا كانت الأسطر الأولى تقول أن جميع الروبوتات قد تم حظرها من كل شيء ، ثم بعد ذلك في الملف فإنها تقول إن كل الروبوتات مسموح لها بالوصول إلى كل شيء ، فإن الروبوتات ستتمكن من الوصول إلى كل شيء.

إذا لم تكن متأكدًا مما إذا كنت قد كتبت ملف robots.txt بشكل صحيح ، فيمكنك استخدام أدوات مشرفي المواقع من Google للتحقق من ملف robots.txt أو كتابة ملف جديد.