كيفية انشاء ملف Sitemap و robots.txt

العديد من المدوّنين، سواء على منصة بلوجر أو ووردبريس، يسعون إلى تحسين ترتيب مواقعهم في محركات البحث من خلال أرشفة مواضيعهم بطريقة سليمة وخالية من الأخطاء. فالوصول إلى نتائج متقدمة في جوجل لا يتحقق عشوائيًا، بل يعتمد على إعدادات دقيقة وأدوات مساعدة يجب التعامل معها بحذر واحترافية.

وعند الانتقال إلى مرحلة استخدام أدوات الأرشفة داخل Google Search Console (المعروفة سابقًا باسم أدوات مشرفي المواقع)، يجد الكثيرون أنفسهم في حيرة من أمرهم، إذ لا يعرفون الطريقة الصحيحة لتعديل الإعدادات، خاصة عند التعامل مع ملف الروبوتكس robots.txt وملف Sitemap، خوفًا من الوقوع في مشاكل قد تؤثر سلبًا على أرشفة الموقع أو ظهوره في نتائج البحث.

ولهذا، في هذه التدوينة على مدونة إربح نت – irbahnet، سنقدم لكم شرحًا عمليًا ومبسطًا للطريقة الصحيحة لإضافة ملف robots.txt، بالإضافة إلى إنشاء وإعداد ملف Sitemap بشكل احترافي يضمن تسهيل عملية الزحف وأرشفة صفحات موقعك بكفاءة عالية.

ملف robots.txt و Sitemap

أحبتي ومتابعي مدونة irbahnet، يسعدني أن ألتقي بكم اليوم في قسم بلوجر لنتناول موضوعًا بالغ الأهمية لكل أصحاب المواقع، خاصة مستخدمي منصة Blogger المجانية، التي تحتاج إلى عناية خاصة وإعدادات دقيقة حتى تحقق أرشفة قوية وظهورًا مميزًا في نتائج البحث.

في هذه التدوينة، سنرشدك إلى طريقة صحيحة وفعّالة تساعدك على تحسين ظهور وصف مواضيعك في محرك بحث جوجل، وهو عامل أساسي يساهم بشكل مباشر في رفع نسبة النقرات وزيادة عدد الزوار. فمع اشتداد المنافسة في عصرنا الحالي بين المدونين، أصبح الاهتمام بالإعدادات التقنية مثل robots.txt وملف Sitemap أمرًا لا غنى عنه لكل من يسعى إلى تصدّر نتائج البحث.

وتأكد يقينًا، أنه إذا لم تقم بإصلاح هذه الجوانب التقنية، فقد يتراجع ترتيب موقعك تدريجيًا، مما يؤدي إلى انخفاض عدد الزيارات وفقدان فرص الظهور في الصفحات الأولى. ولهذا نحن هنا لنضع بين يديك الحلول العملية لتجاوز هذه العقبات وتحسين أداء مدونتك بشكل احترافي.

الكثير من المدونين يعانون من ضعف الترتيب رغم تطبيقهم لمعايير SEO الأساسية، مثل اختيار الكلمة المفتاحية المناسبة، وكتابة مقالات تتجاوز 1000 كلمة، والالتزام بقواعد السيو الداخلية. ومع ذلك، يواجهون مشكلة عدم ظهور مواضيعهم في المراتب المتقدمة أو عدم عرض وصف المقال بشكل صحيح في نتائج البحث، دون معرفة السبب الحقيقي وراء ذلك.

ومن بين أهم الأسباب التي يغفل عنها الكثيرون: الإعداد غير الصحيح لملف Sitemap، أو وجود أخطاء في ملف robots.txt، مما يؤثر سلبًا على عملية الزحف والأرشفة داخل Google Search Console.

اقرأ أيضا: كيفية إنشاء مدونة والربح منها ازيد من 2000$ شهريا

ملاحظة مهمة جدًا:

يعتقد البعض أن تحسين الكلمات الدلالية، أو تعديل الروبوتكس وملف Sitemap في مشرفي المواقع كافٍ لتحقيق النتائج المرجوة، لكنه يغفل عن عنصر أساسي قد يكون سببًا في مشاكل كبيرة، وهو قالب المدونة.

اسأل نفسك:

• هل القالب خالٍ من الأخطاء البرمجية؟
• هل هو متجاوب مع الهواتف الذكية؟
• هل يسبب مشاكل في التغطية أو الفهرسة داخل Search Console؟
• هل سرعة تحميله مناسبة؟

قبل الانتقال إلى تعديل Sitemap أو تخصيص robots.txt، يجب التأكد أولًا من سلامة القالب تقنيًا، لأن أي خلل فيه قد يُفشل جميع محاولات تحسين الأرشفة مهما كانت احترافية.

بعد التأكد من هذه الأساسيات، يمكنك الانتقال إلى المرحلة التالية بثقة، والعمل على إعداد ملفات الأرشفة بطريقة صحيحة تضمن لموقعك فرصة حقيقية في المنافسة وتصدّر نتائج البحث.

كيفية إنشاء ملف robots.txt و Sitemap

الكثير من المدونين لا يعرفون السبب الحقيقي وراء عدم ظهور وصف المواضيع في نتائج محركات البحث، رغم أنهم قاموا بتركيب قالب مدفوع وسريع، ويطبقون جميع معايير السيو من الألف إلى الياء، مع الاهتمام بالكلمات الدلالية وتحسين بنية المقال.

لكن السؤال الذي يطرح نفسه: لماذا لا يظهر وصف الموضوع في مدونة بلوجر؟

الجواب ببساطة: لأنك لم تقم بتعديل ملف مهم جدًا يُسمى Robots.txt.

هذا الملف يُعتبر من أخطر وأهم الملفات في موقعك، لأنه المسؤول عن توجيه عناكب محركات البحث إلى الصفحات التي يُسمح لها بالزحف إليها، ومنع الصفحات التي لا ترغب في أرشفتها. وأي خطأ في إعداده قد يؤدي إلى:

• عدم ظهور وصف المقال في نتائج البحث.
• منع بعض المواضيع من الأرشفة.
• مشاكل في ظهور الإعلانات داخل بعض الصفحات.

ولهذا أنا هنا لأقدم لك الطريقة الصحيحة، مع الأوامر السليمة التي يجب اعتمادها لتفادي هذه المشاكل.

كيف تقوم بتركيب ملف Robots.txt معدل بطريقة صحيحة؟

ملف الروبوتكس الذي ستعتمده يكون بهذا الشكل:

User-agent: Mediapartners-Google

Disallow:

User-agent: *

Disallow: /search

Allow: /

Sitemap: https://irbahnet.com/atom.xml?redirect=false&start-index=1&max-results=500

شرح الأوامر بالتفصيل:

1. User-agent: *

النجمة (*) تعني أنك تسمح لجميع محركات البحث بالوصول إلى موقعك، وليس فقط Google، بل أيضًا Bing وYahoo وباقي المحركات.

أما إذا كتبت:

User-agent: googlebot

فهنا أنت تسمح لمحرك جوجل فقط دون غيره.

2. Disallow:

هذا الأمر يُستخدم لمنع الروبوتات من الدخول إلى صفحات معينة.

عند كتابة:

Disallow: /search

فأنت تمنع أرشفة صفحات البحث الداخلية في بلوجر، وهو أمر مهم لتفادي المحتوى المكرر.

أما إذا تركت:

Disallow:

فارغًا، فهذا يعني أنك لا تمنع أي صفحة من الزحف.

3. Allow: /

هذا الأمر يسمح لروبوتات البحث بالدخول إلى جميع الصفحات والمواضيع داخل موقعك.

وجود الرمز “/” يعني السماح الشامل.

أما إذا وضعت مسارًا معينًا بدل “/” فستسمح بالأرشفة لذلك القسم فقط.

ولهذا يُفضل تركه كما هو لضمان أرشفة شاملة وسليمة.

4. أمر Sitemap (مهم جدًا)

Sitemap: https://irbahnet.com/atom.xml?redirect=false&start-index=1&max-results=500

هنا تخبر محركات البحث بمكان وجود ملف Sitemap الخاص بموقعك، وهو الملف الذي يحتوي على روابط جميع مقالاتك ليسهل على جوجل اكتشافها وأرشفتها بسرعة.

وجود Sitemap داخل ملف robots.txt يعزز عملية الزحف ويساعد في تسريع الأرشفة، خاصة في مدونات بلوجر.

بعد ذلك، يمكنك التأكد من صحة رابط Sitemap الخاص بك عبر الدخول إلى أداة خرائط المواقع في Google Search Console، أو زيارة الرابط المخصص لمدونات بلوجر الخاص بالـ Sitemap.

بعد ذلك، سوف تقوم بالدخول إلى هذا الرابط:

ثم تقوم بإضافة اسم الدومين الخاص بك، سواء كان مجانيًا (blogspot) أو مدفوعًا، كما هو موضح في الصورة.

بعدها، قم بنسخ السطر الموجود في الأسفل، وأضِفه داخل خانة Sitemap في ملف robots.txt كما شرحت لك سابقًا.

ويمكنك كذلك الاكتفاء بالرابط الذي قدمته لك دون الحاجة لهذه الخطوة إذا كان يعمل بشكل صحيح.

في البداية سيكون ملفك على هذا الشكل:

User-agent: *

Disallow: /search

Allow: /

Sitemap: https://irbahnet.com/atom.xml?redirect=false&start-index=1&max-results=500

لكن هناك عنصر مهم جدًا ينقص هذا الملف، وهو الأوامر الخاصة بـ Mediapartners-Google.

الأوامر التي يجب إضافتها:

User-agent: Mediapartners-Google

Disallow:

🔹 User-agent: Mediapartners-Google

هذا السطر مخصص لروبوتات إعلانات Google AdSense (أدسنس بارتنر)، ويسمح لها بالوصول إلى جميع صفحات الموقع.

🔹 Disallow:

عند تركها فارغة، فأنت تسمح للروبوتات بالدخول إلى جميع الصفحات دون منع.

الشكل النهائي الصحيح لملف robots.txt يكون كالتالي:

User-agent: Mediapartners-Google

Disallow:

User-agent: *

Disallow: /search

Allow: /

Sitemap: https://irbahnet.com/atom.xml?redirect=false&start-index=1&max-results=500

مهم جدًا: قم فقط بتغيير دوميني irbahnet.com إلى الدومين الخاص بك.

المرحلة قبل الأخيرة: إضافة الملف إلى بلوجر

• ادخل إلى إعدادات بلوجر.
• توجه إلى قسم robots.txt المخصص.
• قم بلصق الأوامر السابقة.
• اضغط على حفظ.

المرحلة الأخيرة: إرسال الطلب عبر أداة اختبار robots.txt

بعد الحفظ، قم بالدخول إلى صفحة اختبار robots.txt داخل Google Search Console.

عند الدخول:

• اختر موقعك (sélectionnez une propriété validée).
• ضع الأوامر في الخانة المخصصة إن طُلب منك ذلك.
• اضغط على إرسال (Envoyer).

وبهذه الخطوة تكون قد أنهيت إعداد ملف robots.txt وربطت Sitemap بطريقة صحيحة، مما يساعد على تحسين الأرشفة وظهور وصف المواضيع بشكل سليم في نتائج البحث.

اقرأ أيضا: حل مشكلة عدم ارشفة المقالات في مدونة جوجل | مشاكل الارشفة في مدونة بلوجر

كيف تقوم بتركيب ملف Sitemap معدل بطريقة سليمة؟

يُعتبر ملف Sitemap من أهم الملفات التقنية في أي موقع أو مدونة، لأنه يُمكِّنك من تزويد محركات البحث بجميع المعلومات المتعلقة بصفحات موقعك، بما في ذلك المقالات، الصفحات الثابتة، الفيديوهات، وأي ملفات أخرى يتضمنها الموقع.

بفضل ملف Sitemap، يصبح زحف جوجل إلى موقعك أكثر ذكاءً وتنظيمًا، حيث يحصل على تفاصيل دقيقة مثل:

• تاريخ نشر المقال.
• آخر تعديل تم على الصفحة.
• عدد مرات التحديث.
• لغة المحتوى.
• العلاقة بين الصفحات.

وهذا يساعد بشكل مباشر على تحسين الأرشفة وتسريع ظهور مقالاتك في نتائج البحث.

إذا كنت ترغب في التعمق أكثر حول خرائط الموقع، يمكنك زيارة قسم Webmasters في جوجل والاطلاع على الشرح الرسمي.

كيف تضيف ملفات Sitemap إلى Google Search Console؟

عند الدخول إلى صفحة خرائط الموقع (Sitemaps) في Google Search Console، ستلاحظ ترتيب الملفات التي تم إرسالها وفهرستها.

لكي تظهر بنفس الشكل الصحيح، يجب عليك إضافة الروابط التالية (حسب مدونات بلوجر):

/atom.xml

/feeds/posts/default

/rss.xml

/sitemap.xml

atom.xml?redirect=false&start-index=1&max-results=500

ملاحظة مهمة:

في بلوجر، أهم رابط يُنصح به هو:

atom.xml?redirect=false&start-index=1&max-results=500

لأنه يسمح بإظهار عدد أكبر من المقالات داخل ملف الـ Sitemap، خاصة إذا كانت مدونتك تحتوي على عدد كبير من المواضيع.

خطوات إضافة Sitemap بشكل صحيح:

1. ادخل إلى Google Search Console.
2. اختر موقعك.
3. توجه إلى قسم Sitemaps.
4. في خانة “إضافة خريطة موقع جديدة”، ضع أحد الروابط السابقة (بدون الدومين إذا كنت داخل الأداة).
5. اضغط على إرسال.
6. انتظر حتى يتم التحقق من الملف ومعالجة الروابط.

بهذه الطريقة تكون قد أضفت Sitemap بطريقة سليمة، مما يساعد على تسريع الأرشفة وتحسين ظهور مواضيعك في نتائج البحث.

وبهذا نكون قد انتهينا من شرح طريقة إعداد ملف robots.txt وملف Sitemap بشكل احترافي.

أتمنى أن يكون هذا الدرس مفيدًا لكم، لأنه من الأمور الأساسية التي يحتاجها كل مدون يسعى إلى تصدر نتائج البحث وبناء موقع قوي في عالم التدوين.

وإذا كانت لديك أي أسئلة أو نقطة لم تتضح لك في الموضوع، فلا تتردد في طرحها، وسنجيبك بكل سرور .