تعديل ملف robots.txt.liquid

تزحف محركات البحث، مثل Google، باستمرار على الإنترنت بحثًا عن بيانات جديدة كمصدر لنتائج بحثها. يخبر ملف robots.txt برامج الروبوت الخاصة بمحركات البحث، والمعروفة باسم زواحف الويب، بالصفحات التي يجب طلب عرضها من متجرك الإلكتروني. تحتوي جميع متاجر Shopify على ملف robots.txt افتراضي ومثالي لتحسين محركات البحث (SEO).

تستخدم محركات البحث ملف sitemap (خريطة الموقع) الخاص بك لوضع متجرك الإلكتروني في نتائج محركات البحث. تعرّف على كيفية العثور على ملف sitemap وإرساله.

فهم الفرق بين الزحف والفهرسة

عند العمل على ملف robots.txt، من المهم فهم الفرق بين الزحف والفهرسة:

• الزحف: عندما تفحص روبوتات محركات البحث (مثل Googlebot) جميع المحتويات والتعليمات البرمجية الموجودة في صفحاتك وتحللها
• الفهرسة: عندما تصبح الصفحات مؤهلة للظهور في نتائج محركات البحث

لا تستبعد هذه العمليات بعضها بعضًا؛ إذ يمكن لمحركات البحث فهرسة صفحة دون الزحف إليها إذا اكتشفتها بوسائل أخرى.

الاعتبارات

يعمل ملف robots.txt الافتراضي بشكل جيد لمعظم المتاجر. إذا كنت ترغب في تخصيص ملف robots.txt، فيجب عليك أولاً إضافة ملف robots.txt.liquid إلى مجلد القوالب (templates) الخاص بالقالب في محرر التعليمات البرمجية، ثم تخصيص محتوى الملف. يمكنك إجراء التعديلات التالية:

• السماح للزواحف بالوصول إلى عناوين URL معينة أو منعها من ذلك.
• إضافة قواعد تأخير الزحف لزواحف معينة.
• إضافة عناوين URL إضافية لملف sitemap.
• حظر زواحف معينة.

يوجد ملف robots.txt في الدليل الجذر لاسم النطاق الأساسي لمتجر Shopify الخاص بك. مثل: example.com/robots.txt.

تعديل robots.txt.liquid

إذا كنت ترغب في تعديل ملف robots.txt.liquid ، فيجب عليك العمل مع خبير Shopify Partner أو أن تكون لديك خبرة في تعديلات التعليمات البرمجية وتحسين محركات البحث (SEO).

يمكنك استخدام Liquid لإضافة توجيهات أو إزالتها من قالب robots.txt.liquid. تحافظ هذه الطريقة على قدرة Shopify على إبقاء الملف مُحدَّثًا تلقائيًا في المستقبل، وهي الطريقة الموصى بها. للحصول على دليل كامل حول تعديل هذا الملف، راجع صفحة مطوري Shopify تخصيص robots.txt.liquid.

أزل أي تخصيصات أو حلول بديلة سابقة، مثل استخدام خدمة تابعة لجهة خارجية كـ Cloudflare، قبل تعديل ملف robots.txt.liquid .

الخطوات:

1. من مسؤول Shopify، انتقل إلى المتجر الإلكتروني > القوالب.

2. في القالب المعني، انقر على … > تعديل التعليمات البرمجية.

3. انقر على إضافة قالب جديد، ثم حدد robots.

4. انقر على إنشاء قالب.

5. أجرِ التغييرات التي ترغب فيها على القالب الافتراضي. لمزيد من المعلومات حول متغيرات Liquid وحالات الاستخدام الشائعة، راجع صفحة مطوري Shopify تخصيص robots.txt.liquid.

6. احفظ التغييرات في ملف robots.txt.liquid في قالبك المنشور.

التغييرات فورية، لكن الزواحف لا تستجيب دائمًا على الفور. يمكنك اختبار التغييرات باستخدام أداة اختبار robots.txt من Google.

يمكنك أيضًا حذف محتويات القالب واستبدالها بقواعد نص عادي. لا يُوصى بهذه الطريقة بشدة، حيث قد تصبح القواعد قديمة. إذا اخترت هذه الطريقة، فلا يمكن لـ Shopify ضمان تطبيق أفضل ممارسات تحسين محركات البحث (SEO) على ملف robots.txt بمرور الوقت، أو إجراء تغييرات على الملف في التحديثات المستقبلية.

فهم رسائل "تمت الفهرسة، على الرغم من الحظر"

في Google Search Console، قد تظهر عناوين URL على أنها "مفهرسة، على الرغم من حظرها بواسطة robots.txt". هذا سلوك طبيعي ولا يدعو للقلق عادةً.

سبب حدوث ذلك

تُحظر العديد من الصفحات عن قصد بواسطة ملف robots.txt لتحسين محركات البحث. هذه الرسالة هي طريقة Google لإخبارك بأنهم اكتشفوا محتوى محظورًا، في حال كان الحظر غير مقصود. كل شيء في ملف robots.txt الافتراضي الخاص بـ Shopify موجود لسبب وجيه لمساعدتك في تحسين محركات البحث (SEO).

إذا كانت صفحة عادية على موقعك (مثل صفحتك الرئيسية) تظهر على أنها "مفهرسة، على الرغم من الحظر"، فهذا يعني عادةً أن بيانات Google حول متجرك قديمة. قد تستغرق Google أيامًا، أو أسابيع، أو شهورًا لتحديث قاعدة بياناتها بأحدث التغييرات التي تطرأ على أي موقع إلكتروني.

ما يجب فعله

في معظم الحالات، لا يلزم اتخاذ أي إجراء. هذا سلوك متوقع للصفحات التي يجب حظر الزحف إليها ولكن قد تظل مفهرسة من خلال طرق اكتشاف أخرى.

التحكم في وصول زاحف الذكاء الاصطناعي

إذا كنت تبيع من خلال واجهات المتاجر الوكيلة مثل ChatGPT أو Microsoft Copilot، فسيتم دمج بيانات منتجاتك في تلك القنوات من خلال Shopify Catalog، بشكل مستقل عن /robots.txt. قد تصل زواحف الذكاء الاصطناعي أيضاً إلى متجرك مباشرةً عبر الويب المفتوح. يحتوي وصول الزواحف على طبقتي التحكم التاليتين:

• طبقة الشبكة: تتم إدارة برامج الروبوت مباشرةً للمتاجر على Shopify، ولا يتعين عليك اتخاذ أي إجراء. لا توصي Shopify بإعداد خادم وكيل أمام Shopify، ولا يمكنها تقديم الدعم لذلك أيضًا.
• طبقة /robots.txt: يمكنك السماح لزواحف وكيل مستخدم (user-agent) محددة أو حظرها من خلال تخصيص قالب robots.txt.liquid الخاص بمتجرك. القواعد التي تحددها في ملف /robots.txt هي قواعد توجيهية وإرشادية، ولا يُضمن أن تتبعها جميع الزواحف.

إن حظر زواحف الذكاء الاصطناعي في /robots.txt أو في طبقة الشبكة يؤثر فقط على قابلية الاكتشاف عبر الويب المفتوح. ولا يمنع ذلك Shopify Catalog من إرسال بيانات منتجاتك إلى واجهات المتاجر القائمة على الوكلاء التي نشّطتها. للتحكم في ما يشاركه Shopify Catalog مع واجهات المتاجر القائمة على الوكلاء، راجع فهم إعدادات واجهات المتاجر القائمة على الوكلاء.

فهم ملف robots.txt الافتراضي في Shopify

يتضمن ملف robots.txt الافتراضي في Shopify قواعد محددة لتحسين محركات البحث (SEO) لمتجرك. إليك وظيفة بعض الإدخالات الرئيسية:

• Disallow: /admin - تمنع الزحف إلى صفحات المسؤول لأن برامج الروبوت لا يمكنها الوصول إليها على أي حال
• Disallow: /cart - لا تحتاج صفحات سلة التسوق إلى الفهرسة لأنها فريدة لكل عميل
• Disallow: /checkout - لا تحتاج صفحات الدفع إلى الزحف إليها أو فهرستها
• Disallow: /collections/*+* - تمنع فهرسة صفحات التشكيلات المفلترة، والتي يمكن أن تتسبب في حدوث مشكلات تتعلق بالمحتوى المكرر
• Disallow: /search - لا تحتاج صفحات نتائج البحث إلى الزحف إليها
• Disallow: /policies/ - صفحات السياسات التي يتم إنشاؤها تلقائيًا متشابهة عبر المتاجر ولا تحتاج إلى فهرسة

تساعد هذه القواعد محركات البحث على التركيز على محتواك الفريد والقيّم بدلاً من الصفحات الإدارية أو المكررة.

حذف تخصيصات robots.txt.liquid

إذا كنت ترغب في استخدام ملف robots.txt الافتراضي مرة أخرى، فيمكنك حذف ملف robots.txt.liquid المخصص.

الخطوات:

1. من مسؤول Shopify، انتقل إلى المتجر الإلكتروني > القوالب.

2. انقر على > تعديل التعليمات البرمجية.

3. انقر بزر الماوس الأيمن على robots.txt.liquid، وحدد حذف نهائيًا من القائمة المنسدلة.

4. انقر على حذف.

يمكنك دائمًا تعديل ملف robots.txt.liquid في المستقبل، أو إذا حفظت تخصيصاتك السابقة، فيمكنك إعادة تطبيق تغييراتك عن طريق نسخ تخصيصاتك السابقة المحفوظة.