robots.txt.liquid ایڈٹ کرنا

سرچ انجنز، جیسے کہ Google، اپنے تلاش کے نتائج کے ماخذ کے طور پر نئے ڈیٹا کی تلاش میں انٹرنیٹ کو مسلسل کرال کرتے ہیں۔ robots.txt فائل سرچ انجن بوٹس کو، جنہیں کرالرز (crawlers) کہا جاتا ہے، بتاتی ہے کہ آپ کے آن لائن سٹور سے کن صفحات کو دیکھنے کی درخواست کرنی ہے۔ تمام Shopify سٹورز میں ایک ڈیفالٹ robots.txt فائل ہوتی ہے جو سرچ انجن آپٹیمائزیشن (SEO) کے لیے بہترین ہوتی ہے۔

سرچ انجنز آپ کے آن لائن سٹور کو سرچ انجن کے نتائج میں رکھنے کے لیے آپ کا سائٹ میپ استعمال کرتے ہیں۔ اپنا سائٹ میپ تلاش اور سبمٹ کرنے کا طریقہ جانیں۔

کرالنگ بمقابلہ انڈیکسنگ کو سمجھنا

robots.txt کے ساتھ کام کرتے وقت، کرالنگ اور انڈیکسنگ کے درمیان فرق کو سمجھنا اہم ہے:

• کرالنگ: جب سرچ انجن بوٹس (جیسے Googlebot) آپ کے صفحات پر موجود تمام مواد اور کوڈ کا معائنہ کرتے ہیں اور اس کا تجزیہ کرتے ہیں
• انڈیکسنگ: جب صفحات سرچ انجن کے نتائج میں ظاہر ہونے کے اہل ہو جاتے ہیں

یہ عمل باہمی طور پر خصوصی نہیں ہیں - سرچ انجنز کسی صفحے کو کرال کیے بغیر اسے انڈیکس کر سکتے ہیں اگر وہ اسے دوسرے ذرائع سے دریافت کر لیں۔

غور طلب امور

ڈیفالٹ robots.txt فائل زیادہ تر سٹورز کے لیے کام کرتی ہے۔ اگر آپ robots.txt فائل کو کسٹمائز کرنا چاہتے ہیں، تو آپ کو پہلے کوڈ ایڈیٹر میں اپنی تھیم کے ٹیمپلیٹس فولڈر میں ایک robots.txt.liquid فائل شامل کرنی ہوگی، اور پھر فائل کے مواد کو کسٹمائز کرنا ہوگا۔ آپ مندرجہ ذیل ترامیم کر سکتے ہیں:

• مخصوص URLs کو کرال ہونے کی اجازت دیں یا اجازت نہ دیں۔
• مخصوص کرالرز کے لیے کرال-تاخیر (crawl-delay) کے اصول شامل کریں۔
• اضافی سائٹ میپ URLs شامل کریں۔
• مخصوص کرالرز کو بلاک کریں۔

robots.txt فائل آپ کے Shopify سٹور کے بنیادی ڈومین نام کی روٹ ڈائرکٹری میں واقع ہے۔ جیسے: example.com/robots.txt۔

robots.txt.liquid میں ترمیم کریں

اگر آپ robots.txt.liquid فائل میں ترمیم کرنا چاہتے ہیں، تو آپ کو کسی Shopify Partner کے ساتھ کام کرنا چاہیے یا کوڈ کی ترامیم اور SEO میں مہارت حاصل ہونی چاہیے۔

آپ robots.txt.liquid ٹیمپلیٹ سے ہدایات شامل کرنے یا ہٹانے کے لیے Liquid کا استعمال کر سکتے ہیں۔ یہ طریقہ مستقبل میں فائل کو خودکار طور پر اپ ڈیٹ رکھنے کی Shopify کی صلاحیت کو برقرار رکھتا ہے، اور اسی کی سفارش کی جاتی ہے۔ اس فائل میں ترمیم کرنے سے متعلق مکمل گائیڈ کے لیے، Shopify کے ڈیویلپر صفحے Customize robots.txt.liquid سے رجوع کریں۔

 robots.txt.liquid فائل میں ترمیم کرنے سے پہلے کوئی بھی پچھلی کسٹمائزیشنز یا ورک اراؤنڈز، جیسے فریق ثالث کی سروس جیسے Cloudflare کا استعمال، ہٹا دیں۔

اقدامات:

1. اپنے Shopify ایڈمن سے، آن لائن سٹور > تھیمز پر جائیں۔

2. متعلقہ تھیم کے لیے، … > کوڈ میں ترمیم کریں پر کلک کریں۔

3. نئی ٹیمپلیٹ شامل کریں پر کلک کریں، اور پھر robots منتخب کریں۔

4. ٹیمپلیٹ تخلیق کریں پر کلک کریں۔

5. ڈیفالٹ ٹیمپلیٹ میں وہ تبدیلیاں کریں جو آپ کرنا چاہتے ہیں۔ liquid متغیرات اور استعمال کے عام کیسز پر مزید معلومات کے لیے، Shopify کے ڈیویلپر صفحے Customize robots.txt.liquid سے رجوع کریں۔

6. اپنی شائع کردہ تھیم میں robots.txt.liquid فائل کی تبدیلیاں محفوظ کریں۔

تبدیلیاں فوری ہوتی ہیں، لیکن کرالرز ہمیشہ فوری ردعمل ظاہر نہیں کرتے ہیں۔ آپ Google کے robots.txt ٹیسٹر کا استعمال کر کے تبدیلیوں کی جانچ کر سکتے ہیں۔

آپ ٹیمپلیٹ کے مواد کو حذف بھی کر سکتے ہیں اور اسے سادہ متن کے اصولوں سے تبدیل کر سکتے ہیں۔ اس طریقے کی سختی سے سفارش نہیں کی جاتی ہے، کیونکہ اصول پرانے ہو سکتے ہیں۔ اگر آپ یہ طریقہ منتخب کرتے ہیں، تو Shopify اس بات کو یقینی نہیں بنا سکتا کہ وقت گزرنے کے ساتھ آپ کے robots.txt پر SEO کے بہترین طریقوں کا اطلاق ہوتا ہے، یا مستقبل کی اپ ڈیٹس کے ساتھ فائل میں تبدیلیاں کر سکتا ہے۔

"Indexed, though blocked" پیغامات کو سمجھنا

Google Search Console میں، URLs "indexed, though blocked by robots.txt" کے طور پر ظاہر ہو سکتے ہیں۔ یہ معمول کا برتاؤ ہے اور عام طور پر تشویش کا باعث نہیں ہوتا ہے۔

ایسا کیوں ہوتا ہے

SEO آپٹیمائزیشن کے لیے بہت سے صفحات جان بوجھ کر robots.txt کے ذریعے بلاک کیے جاتے ہیں۔ یہ پیغام Google کا آپ کو یہ بتانے کا طریقہ ہے کہ انہوں نے بلاک کردہ مواد دریافت کر لیا ہے، اس صورت میں کہ بلاک کرنا غیر ارادی تھا۔ آپ کی SEO میں مدد کرنے کے لیے Shopify کی ڈیفالٹ robots.txt فائل میں موجود ہر چیز کی ایک وجہ ہے۔

اگر آپ کی سائٹ پر کوئی عام صفحہ (جیسے آپ کا ہوم پیج) "Indexed, though blocked" کے طور پر ظاہر ہوتا ہے، تو اس کا عام طور پر مطلب یہ ہوتا ہے کہ آپ کے سٹور کے بارے میں Google کا ڈیٹا پرانا ہے۔ Google کو کسی بھی ویب سائٹ کی تازہ ترین تبدیلیوں کے ساتھ اپنے ڈیٹا بیس کو اپ ڈیٹ کرنے میں دنوں، ہفتوں یا مہینوں کا وقت لگ سکتا ہے۔

کیا کرنا ہے

زیادہ تر صورتوں میں، کسی کارروائی کی ضرورت نہیں ہوتی ہے۔ یہ ان صفحات کے لیے متوقع برتاؤ ہے جنہیں کرال ہونے سے بلاک کیا جانا چاہیے لیکن وہ پھر بھی دیگر دریافت کے طریقوں سے انڈیکس ہو سکتے ہیں۔

AI کرالر کی رسائی کو کنٹرول کرنا

اگر آپ ChatGPT یا Microsoft Copilot جیسے ایجنٹک سٹور فرنٹ کے ذریعے فروخت کرتے ہیں، تو آپ کی پروڈکٹ کا ڈیٹا /robots.txt سے آزادانہ طور پر Shopify Catalog کے ذریعے ان چینل تک سنڈیکیٹ کیا جاتا ہے۔ AI کرالر اوپن ویب کے ذریعے بھی آپ کے سٹور تک براہ راست رسائی حاصل کر سکتے ہیں۔ کرالر کی رسائی میں کنٹرول کی درج ذیل دو لیئر ہیں:

• نیٹ ورک لیئر: بوٹ مینجمنٹ کو Shopify پر موجود سٹور کے لیے براہ راست ہینڈل کیا جاتا ہے، اور آپ کو کوئی کارروائی کرنے کی ضرورت نہیں ہے۔ Shopify، Shopify سے پہلے پراکسی کنفیگریشن کی تجویز نہیں دیتا ہے، اور اس کے لیے سپورٹ بھی فراہم نہیں کر سکتا ہے۔
• /robots.txt لیئر: آپ اپنے سٹور کے robots.txt.liquid ٹیمپلیٹ کو کسٹمائز کر کے مخصوص user-agent کرالر کو اجازت دے سکتے ہیں یا بلاک کر سکتے ہیں۔ آپ کی /robots.txt فائل میں سیٹ کردہ قواعد ہدایاتی اور مشاورتی نوعیت کے ہوتے ہیں، اور اس بات کی کوئی گارنٹی نہیں ہوتی کہ تمام کرالر ان کی پیروی کریں گے۔

/robots.txt یا نیٹ ورک لیئر پر AI کرالر کو بلاک کرنا صرف اوپن ویب کی ڈسکوریبلٹی کو متاثر کرتا ہے۔ یہ آپ کے پروڈکٹ کے ڈیٹا کو Shopify Catalog کے ذریعے ان ایجنٹک سٹور فرنٹ پر بھیجے جانے سے نہیں روکتا جنہیں آپ نے ایکٹیویٹ کیا ہے۔ اس بات کو کنٹرول کرنے کے لیے کہ Shopify Catalog ایجنٹک سٹور فرنٹ کے ساتھ کیا شیئر کرتا ہے، اپنے ایجنٹک سٹور فرنٹ کی سیٹنگز کو سمجھنا سے رجوع کریں۔

Shopify کے ڈیفالٹ robots.txt کو سمجھنا

آپ کے سٹور کے SEO کو آپٹیمائز کرنے کے لیے Shopify کی ڈیفالٹ robots.txt فائل میں مخصوص اصول شامل ہیں۔ یہاں بتایا گیا ہے کہ کچھ کلیدی اینٹریز کیا کرتی ہیں:

• Disallow: /admin - ایڈمن صفحات کو کرال ہونے سے روکتا ہے کیونکہ بوٹس ویسے بھی ان تک رسائی حاصل نہیں کر سکتے
• Disallow: /cart - کارٹ کے صفحات کو انڈیکس کرنے کی ضرورت نہیں ہوتی کیونکہ وہ ہر گاہک کے لیے منفرد ہوتے ہیں
• Disallow: /checkout - چیک آؤٹ کے صفحات کو کرال یا انڈیکس کیے جانے کی ضرورت نہیں ہوتی
• Disallow: /collections/*+* - فلٹر کردہ کلیکشن کے صفحات کو انڈیکس ہونے سے روکتا ہے، جو نقلی مواد (duplicate content) کے مسائل پیدا کر سکتے ہیں
• Disallow: /search - تلاش کے نتائج والے صفحات کو کرال کیے جانے کی ضرورت نہیں ہوتی
• Disallow: /policies/ - خودکار طور پر تیار کردہ پالیسی کے صفحات تمام سٹورز پر یکساں ہوتے ہیں اور انہیں انڈیکس کرنے کی ضرورت نہیں ہوتی

یہ اصول سرچ انجنز کو انتظامی یا نقلی صفحات کے بجائے آپ کے منفرد، قیمتی مواد پر توجہ مرکوز کرنے میں مدد کرتے ہیں۔

robots.txt.liquid کسٹمازیشنز حذف کریں

اگر آپ دوبارہ ڈیفالٹ robots.txt فائل استعمال کرنا چاہتے ہیں، تو آپ اپنی کسٹم robots.txt.liquid فائل کو حذف کر سکتے ہیں۔

اقدامات:

1. اپنے Shopify ایڈمن سے، آن لائن سٹور > تھیمز پر جائیں۔

2. > کوڈ میں ترمیم کریں پر کلک کریں۔

3. robots.txt.liquid پر رائٹ کلک کریں، اور ڈراپ ڈاؤن مینو سے مستقل طور پر حذف کریں کو منتخب کریں۔

4. حذف کریں پر کلک کریں۔

آپ مستقبل میں کسی بھی وقت robots.txt.liquid فائل میں ترمیم کر سکتے ہیں، یا اگر آپ نے اپنی پچھلی کسٹمائزیشن محفوظ کی تھی، تو آپ اپنی محفوظ کردہ پچھلی کسٹمائزیشن کو کاپی کر کے اپنی تبدیلیاں دوبارہ لاگو کر سکتے ہیں۔