robots.txt.liquid को एडिट करना

Google जैसे सर्च इंजन, अपने खोज परिणामों के स्रोत के रूप में नए डेटा की तलाश में लगातार इंटरनेट को क्रॉल करते हैं। robots.txt फ़ाइल, क्रॉलर के नाम से जाने जाने वाले सर्च इंजन बॉट को बताती है कि आपके ऑनलाइन स्टोर से कौन से पेज देखने का अनुरोध करना है। सभी Shopify स्टोर में एक डिफ़ॉल्ट robots.txt फ़ाइल होती है जो सर्च इंजन ऑप्टिमाइज़ेशन (SEO) के लिए सबसे अच्छी है।

सर्च इंजन, आपके ऑनलाइन स्टोर को सर्च इंजन के नतीजों में रखने के लिए आपके साइट मैप का उपयोग करते हैं। जानें कि अपना साइट मैप कैसे ढूंढें और सबमिट करें।

क्रॉलिंग बनाम इंडेक्सिंग को समझना

robots.txt के साथ काम करते समय, क्रॉलिंग और इंडेक्सिंग के बीच के अंतर को समझना महत्वपूर्ण है:

• क्रॉलिंग: जब सर्च इंजन बॉट (जैसे Googlebot) आपके पेज पर मौजूद सभी सामग्री और कोड की जांच करते हैं और उसका विश्लेषण करते हैं
• इंडेक्सिंग: जब पेज, सर्च इंजन के नतीजों में दिखने के योग्य हो जाते हैं

ये प्रक्रियाएं परस्पर अनन्य नहीं हैं - अगर सर्च इंजन किसी पेज को अन्य तरीकों से खोजते हैं, तो वे उसे क्रॉल किए बिना इंडेक्स कर सकते हैं।

ज़रूरी बातें

डिफ़ॉल्ट robots.txt फ़ाइल ज़्यादातर स्टोर के लिए काम करती है। अगर आप robots.txt फ़ाइल को कस्टमाइज़ करना चाहते हैं, तो आपको सबसे पहले कोड एडिटर में अपनी थीम के टेम्पलेट फ़ोल्डर में एक robots.txt.liquid फ़ाइल जोड़नी होगी और फिर फ़ाइल की सामग्री को कस्टमाइज़ करना होगा। आप ये एडिट कर सकते हैं:

• कुछ खास URL को क्रॉल करने की अनुमति देना या उस पर रोक लगाना.
• कुछ खास क्रॉलर के लिए क्रॉल-डिले नियम जोड़ना.
• अतिरिक्त साइटमैप URL जोड़ना.
• कुछ खास क्रॉलर को ब्लॉक करना.

robots.txt फ़ाइल आपके Shopify स्टोर के प्राथमिक डोमेन नाम की रूट डायरेक्टरी में मौजूद होती है। जैसे: example.com/robots.txt।

robots.txt.liquid में बदलाव करना

अगर आप  robots.txt.liquid फ़ाइल में बदलाव करना चाहते हैं, तो आपको किसी Shopify पार्टनर के साथ काम करना चाहिए या आपके पास कोड में बदलाव करने और SEO में विशेषज्ञता होनी चाहिए।

आप robots.txt.liquid टेम्पलेट में डायरेक्टिव जोड़ने या हटाने के लिए Liquid का इस्तेमाल कर सकते हैं। यह तरीका भविष्य में फ़ाइल को ऑटोमैटिक रूप से अपडेट रखने की Shopify की क्षमता को बनाए रखता है और इसी तरीके का सुझाव दिया जाता है। इस फ़ाइल में बदलाव करने की पूरी गाइड के लिए, Shopify का डेवलपर पेज Customize robots.txt.liquid देखें।

robots.txt.liquid फ़ाइल में बदलाव करने से पहले, Cloudflare जैसी किसी थर्ड-पार्टी सेवा का इस्तेमाल करने जैसे पिछले सभी अनुकूलन या वर्कअराउंड हटा दें।

चरण:

1. अपने Shopify एडमिन से, ऑनलाइन स्टोर > थीम पर जाएं।

2. संबंधित थीम के लिए, … > कोड में बदलाव करें पर क्लिक करें।

3. नया टेम्पलेट जोड़ें पर क्लिक करें और फिर robots चुनें।

4. टेम्पलेट बनाएं पर क्लिक करें।

5. डिफ़ॉल्ट टेम्पलेट में वे बदलाव करें, जो आप करना चाहते हैं। लिक्विड वैरिएबल और आम उपयोग मामलों के बारे में ज़्यादा जानकारी के लिए, Shopify का डेवलपर पेज Customize robots.txt.liquid देखें।

6. अपनी प्रकाशित थीम में robots.txt.liquid फ़ाइल के बदलावों को सेव करें।

बदलाव तुरंत हो जाते हैं, लेकिन क्रॉलर हमेशा तुरंत प्रतिक्रिया नहीं देते। आप Google के robots.txt टेस्टर का इस्तेमाल करके बदलावों को टेस्ट कर सकते हैं।

आप टेम्पलेट की सामग्री को मिटाकर उसे प्लेन टेक्स्ट नियमों से भी बदल सकते हैं। इस तरीके का इस्तेमाल करने का सुझाव बिल्कुल नहीं दिया जाता, क्योंकि नियम पुराने हो सकते हैं। अगर आप यह तरीका चुनते हैं, तो Shopify यह पक्का नहीं कर सकता कि समय के साथ आपकी robots.txt पर SEO की सर्वोत्तम कार्यप्रणालियां लागू हों या भविष्य के अपडेट के साथ फ़ाइल में बदलाव किए जाएं।

"इंडेक्स किया गया, हालांकि ब्लॉक है" संदेशों को समझना

Google Search Console में, URL "robots.txt द्वारा ब्लॉक होने के बावजूद, इंडेक्स किया गया" के रूप में दिख सकते हैं। यह सामान्य व्यवहार है और आमतौर पर चिंता की कोई बात नहीं है।

ऐसा क्यों होता है

SEO ऑप्टिमाइज़ेशन के लिए कई पेजों को robots.txt द्वारा जान-बूझकर ब्लॉक किया जाता है। यह संदेश Google का यह बताने का तरीका है कि उसे ब्लॉक की गई सामग्री मिली है, अगर ब्लॉकिंग अनजाने में हुई हो। Shopify की डिफ़ॉल्ट robots.txt फ़ाइल में आपके SEO में मदद करने के लिए सब कुछ किसी वजह से होता है।

अगर आपकी साइट का कोई सामान्य पेज (जैसे आपका होमपेज) "इंडेक्स किया गया, हालांकि ब्लॉक है," के रूप में दिखाई देता है, तो इसका आमतौर पर यह मतलब होता है कि आपके स्टोर के बारे में Google का डेटा पुराना है। Google को किसी भी वेबसाइट में हुए नए बदलावों के साथ अपने डेटाबेस को अपडेट करने में दिन, हफ़्ते या महीने लग सकते हैं।

क्या करें

ज़्यादातर मामलों में, कोई कार्रवाई करने की ज़रूरत नहीं है। यह उन पेजों के लिए अपेक्षित व्यवहार है, जिन्हें क्रॉलिंग से ब्लॉक किया जाना चाहिए, लेकिन फिर भी उन्हें दूसरे खोज तरीकों से इंडेक्स किया जा सकता है।

एआई क्रॉलर एक्सेस को नियंत्रित करना

अगर आप ChatGPT या Microsoft Copilot जैसे एजेंटिक स्टोरफ़्रंट के ज़रिए बेचते हैं, तो आपका प्रोडक्ट डेटा /robots.txt से स्वतंत्र, Shopify Catalog के ज़रिए उन चैनल पर सिंडिकेट किया जाता है। एआई क्रॉलर ओपन वेब के ज़रिए भी सीधे आपके स्टोर तक पहुंच सकते हैं। क्रॉलर एक्सेस में नियंत्रण के निम्नलिखित दो लेयर होते हैं:

• नेटवर्क लेयर: Shopify पर स्टोर के लिए बॉट मैनेजमेंट को सीधे हैंडल किया जाता है, और आपको कोई कार्रवाई करने की ज़रूरत नहीं है। Shopify, Shopify के सामने प्रॉक्सी कॉन्फ़िगरेशन का सुझाव नहीं देता है, और इसके लिए सहायता भी प्रदान नहीं कर सकता है।
• /robots.txt लेयर: आप अपने स्टोर के robots.txt.liquid टेम्पलेट को कस्टमाइज़ करके विशिष्ट यूज़र-एजेंट क्रॉलर को अनुमति दे सकते हैं या ब्लॉक कर सकते हैं। आपके द्वारा अपनी /robots.txt फ़ाइल में सेट किए गए नियम दिशा-निर्देशात्मक और सलाहकारी होते हैं, और इस बात की कोई गारंटी नहीं है कि सभी क्रॉलर उनका पालन करेंगे।

/robots.txt या नेटवर्क लेयर पर एआई क्रॉलर को ब्लॉक करने से केवल ओपन-वेब पर आसानी से ढूंढे जाने की क्षमता प्रभावित होती है। यह आपके प्रोडक्ट डेटा को Shopify Catalog द्वारा उन एजेंटिक स्टोरफ़्रंट पर भेजे जाने से नहीं रोकता है जिन्हें आपने ऐक्टिवेट किया है। Shopify Catalog एजेंटिक स्टोरफ़्रंट के साथ क्या शेयर करता है, इसे कंट्रोल करने के लिए, अपनी एजेंटिक स्टोरफ़्रंट सेटिंग को समझना देखें।

Shopify के डिफ़ॉल्ट robots.txt को समझना

Shopify की डिफ़ॉल्ट robots.txt फ़ाइल में आपके स्टोर के SEO को ऑप्टिमाइज़ करने के लिए खास नियम शामिल हैं। यहां बताया गया है कि कुछ मुख्य एंट्री क्या करती हैं:

• Disallow: /admin - एडमिन पेजों को क्रॉल होने से रोकता है, क्योंकि बॉट वैसे भी उन्हें एक्सेस नहीं कर सकते
• Disallow: /cart - कार्ट पेजों को इंडेक्स करने की ज़रूरत नहीं है, क्योंकि वे हर ग्राहक के लिए यूनीक होते हैं
• Disallow: /checkout - चेकआउट पेजों को क्रॉल या इंडेक्स करने की ज़रूरत नहीं है
• Disallow: /collections/*+* - फ़िल्टर किए गए कलेक्शन पेजों को इंडेक्स होने से रोकता है, जिससे डुप्लीकेट सामग्री की समस्याएं पैदा हो सकती हैं
• Disallow: /search - सर्च नतीजों वाले पेजों को क्रॉल करने की ज़रूरत नहीं है
• Disallow: /policies/ - ऑटो-जनरेट किए गए पॉलिसी पेज सभी स्टोर में एक जैसे होते हैं और उन्हें इंडेक्सिंग की ज़रूरत नहीं होती

ये नियम सर्च इंजन को एडमिन या डुप्लीकेट पेजों के बजाय आपकी खास और कीमती सामग्री पर फ़ोकस करने में मदद करते हैं।

robots.txt.liquid अनुकूलन मिटाना

अगर आप फिर से डिफ़ॉल्ट robots.txt फ़ाइल का इस्तेमाल करना चाहते हैं, तो आप अपनी कस्टम robots.txt.liquid फ़ाइल मिटा सकते हैं।

चरण:

1. अपने Shopify एडमिन से, ऑनलाइन स्टोर > थीम पर जाएं।

2. > कोड में बदलाव करें पर क्लिक करें।

3. robots.txt.liquid पर राइट-क्लिक करें और ड्रॉप-डाउन मेनू से हमेशा के लिए मिटाएं चुनें।

4. मिटाएं पर क्लिक करें।

आप भविष्य में कभी भी robots.txt.liquid फ़ाइल में बदलाव कर सकते हैं, या अगर आपने अपने पिछले अनुकूलन सेव कर लिए हैं, तो आप अपने सेव किए गए पिछले अनुकूलन को कॉपी करके अपने बदलाव दोबारा कर सकते हैं।