إضافة ملف Robot.txt مخصصة و تعديل علامات رؤوس مخصصة لبرامج الروبوت

1/ إضافة ملف Robot.txt مخصص

ماهو ملف Robots.txt وما هي أهميته

باختصار شديد ملف Robots.txt هو ملف يقوم بتوجيه روبوتات وعناكب البحث للصفحات المهمة على موقعك أو الصفحات التي سيتم أرشفتها حيث يخبر هذا الملف عناكب البحث بأن هذه الصفحات هي الأهم على موقعك وهي التي سوف يتم ارشفتها، ويبعدهم أيضا عن الصفحات غير المهمة والتي تستبعدها عناكب البحث من الأرشفة.

أفضل ملف robots.txt مخصص للمدونة

مثال بسيط لملف روبوتس مخصص لمدونات بلوجر وأنا شخصياً استعمله على مدونتي:

User-agent: Mediapartners-Google
Disallow:
User-agent: *
Sitemap: http://www.yoursite.com/sitemap.xml
Allow: /

يتكون ملف الروبوت من 3 أجزاء مخصصة سنقوم بشرحها بالتفصيل:

الجزء الاول: User-agent: Mediapartners-Google
وهو مخصص بشكل اساسي للاعلانات علي مدونتك وتحديداً جوجل ادسنس حيث يتم تحليل مدونتك بعد اضافة هذا الكود لمعرفة محتوي موقعك واضافة اعلانات تتناسب مع محتوي موقعك بشكل افضل.

الجزء الثاني: User-agent
هذا الجزء من الكود مخصص للمنع والسماح بالزحف لملفات معينة داخل محتوي موقعك فمثلاً اذا كنت تريد السماح بارشفة كل محتوي موقعك فسنضيف بعد هذا الامر مباشرة كلمة Allow: / كما هو في ملف الروبوت المرفق في الشرح اما اذا كنت تريد منع الزحف الي عمليات البحث مثلاً داخل موقعك فقم باضافة هذا الامر Disallow: /search.

الجزء الثالث: Sitemap
وهو الملف الذي يحتوي علي محتوي موقعك بالكامل بشكل متجدد حيث يتم فحص هذا الملف بشكل مستمر في كل مرة يدخل فيها عناكب البحث علي موقعك في حالة ما اذا قمت باضافة تدوينة جديدة الي موقعك لكي يتم ارشفتها.

طريقة إضافة ملف robots.txt مخصص لمدونة بلوجر

بعد الدخول الى مدونتك على بلوجر اضغط على الاعدادات ثم إعدادات البحث ثم اضغط على تعديل، بعدها الخيار نعم ثم بادخال الكود الخاص بملف robots.txt بعد نسخه من هنا:

ولا تنسى استبدال www.yoursite.com برابط موقعك ثم اضغط على حفظ التغيرات بعد الانتهاء، كما في الصورة: