עריכת robots.txt.liquid

מנועי חיפוש, כגון Google, סורקים באופן קבוע את האינטרנט בחיפוש אחר נתונים חדשים כמקור לתוצאות החיפוש שלהם. הקובץ robots.txt מורה לבוטים של מנועי חיפוש, הידועים כסורקים (crawlers), אילו דפים לבקש לראות מהחנות המקוונת שלך. לכל חנויות Shopify יש קובץ robots.txt המוגדר כברירת מחדל ואשר מותאם לקידום אתרים במנועי חיפוש (SEO).

מפת האתר שלך משמשת מנועי חיפוש כדי להציג את החנות המקוונת שלך בתוצאות מנוע החיפוש. כאן תוכל ללמוד איך למצוא ולשלוח את מפת האתר שלך.

בדף זה

הבנת ההבדל בין סריקה לאינדוקס

בעבודה עם קובץ robots.txt, חשוב להבין את ההבדל בין סריקה (crawling) לאינדוקס (indexing):

סריקה: כאשר בוטים של מנועי חיפוש (כמו Googlebot) בוחנים את כל התוכן והקוד בדפים שלך ומנתחים אותם
אינדוקס: כאשר דפים הופכים לכשירים להופיע בתוצאות של מנועי החיפוש

תהליכים אלו אינם מוציאים זה את זה – מנועי חיפוש עשויים לאנדקס דף גם מבלי לסרוק אותו אם הם מגלים אותו בדרכים אחרות.

שיקולים

קובץ robots.txt המוגדר כברירת מחדל מתאים לרוב החנויות. אם ברצונך להתאים אישית את קובץ robots.txt, עליך להוסיף תחילה קובץ robots.txt.liquid לתיקיית ה-templates (תבניות) של ערכת הנושא שלך בעורך הקוד, ולאחר מכן להתאים אישית את תוכן הקובץ. ניתן לבצע את העריכות הבאות:

לאפשר או לאסור סריקה של כתובות URL מסוימות.
להוסיף כללי השהיית סריקה (crawl-delay) עבור סורקים מסוימים.
להוסיף כתובות URL נוספות של מפות אתר.
לחסום סורקים מסוימים.

הקובץ robots.txt ממוקם בספריית השורש (root directory) של שם הדומיין הראשי של חנות ה-Shopify שלך. לדוגמה: example.com/robots.txt.

עריכת robots.txt.liquid

אם ברצונך לערוך את הקובץ robots.txt.liquid, מומלץ לעבוד עם שותף Shopify או שיהיה לך ידע מקצועי בעריכות קוד וב-SEO.

באפשרותך להשתמש ב-Liquid כדי להוסיף או להסיר הוראות מהתבנית robots.txt.liquid. שיטה זו, שהיא השיטה המומלצת, משמרת את היכולת של Shopify להמשיך ולעדכן את הקובץ באופן אוטומטי בעתיד. למדריך המלא לעריכת קובץ זה, ניתן לעיין בדף המפתחים של Shopify בכתובת התאמה אישית של robots.txt.liquid.

יש להסיר התאמות אישיות או פתרונות עוקפים קודמים, כמו שימוש בשירות צד שלישי דוגמת Cloudflare, לפני עריכת הקובץ robots.txt.liquid.

שלבים:

במנהל המערכת של Shopify, יש לעבור אל חנות מקוונת > ערכות נושא.
בערכת הנושא הרלוונטית, יש ללחוץ על … > עריכת קוד.
יש ללחוץ על הוספת תבנית חדשה, ולאחר מכן לבחור באפשרות robots.
יש ללחוץ על יצירת תבנית.
יש לבצע את השינויים הרצויים בתבנית ברירת המחדל. למידע נוסף על משתני Liquid ותרחישי שימוש נפוצים, ניתן לעיין בדף המפתחים של Shopify בכתובת התאמה אישית של robots.txt.liquid.
יש לשמור את השינויים בקובץ robots.txt.liquid בערכת הנושא המפורסמת שלך.

השינויים מתבצעים באופן מיידי, אך סורקים לא תמיד מגיבים באופן מיידי. באפשרותך לבדוק את השינויים באמצעות בודק robots.txt של Google.

אפשר גם למחוק את תוכן התבנית ולהחליף אותו בכללי טקסט רגיל. שיטה זו אינה מומלצת כלל, מכיוון שהכללים עלולים להפוך למיושנים. אם תבחר בשיטה זו, Shopify לא תוכל להבטיח יישום של שיטות עבודה מומלצות לקידום אתרים (SEO) על קובץ ה-robots.txt שלך לאורך זמן, או לבצע שינויים בקובץ במסגרת עדכונים עתידיים.

הבנת הודעות 'Indexed, though blocked'

ב-Google Search Console, ייתכן שכתובות URL יוצגו עם ההודעה "indexed, though blocked by robots.txt". זוהי התנהגות רגילה ובדרך כלל אינה סיבה לדאגה.

למה זה קורה

דפים רבים נחסמים בכוונה על ידי robots.txt לצורך אופטימיזציית SEO. הודעה זו היא הדרך של Google ליידע אותך שהיא גילתה תוכן חסום, למקרה שהחסימה לא הייתה מכוונת. כל מה שקיים בקובץ ה-robots.txt המוגדר כברירת מחדל ב-Shopify נמצא שם מסיבה מסוימת, כדי לסייע ל-SEO של החנות.

אם דף רגיל באתר שלך (כמו דף הבית) מוצג כ-"Indexed, though blocked", המשמעות היא בדרך כלל שהנתונים של Google לגבי החנות שלך אינם מעודכנים. ל-Google עשויים להידרש ימים, שבועות או אפילו חודשים כדי לעדכן את מסד הנתונים שלה בשינויים האחרונים בכל אתר שהוא.

מה עליך לעשות

ברוב המקרים, לא נדרשת כל פעולה. זוהי התנהגות צפויה עבור דפים שאמורים להיות חסומים לסריקה אך עשויים עדיין להיות מאונדקסים דרך שיטות גילוי אחרות.

שליטה בגישה של זחלני AI

אם אתה מוכר דרך חזיתות חנות מבוססות סוכנים כגון ChatGPT או Microsoft Copilot, נתוני המוצרים שלך מופצים לערוצים אלה באמצעות Shopify Catalog, ללא תלות בקובץ /robots.txt. זחלני AI עשויים גם לגשת לחנות שלך ישירות דרך האינטרנט הפתוח. השליטה בגישת זחלנים כוללת את שתי השכבות הבאות:

שכבת רשת: ניהול בוטים מתבצע ישירות עבור חנויות ב-Shopify, ואין צורך לבצע כל פעולה. Shopify אינה ממליצה על הגדרת proxy לפני Shopify, ואינה יכולה לספק לכך תמיכה.
שכבת /robots.txt: באפשרותך לאפשר או לחסום זחלנים מסוג סוכן משתמש ספציפיים על-ידי התאמה אישית של תבנית robots.txt.liquid של החנות. הכללים שמוגדרים בקובץ /robots.txt הם מנחים ובגדר המלצה בלבד, ואין ערובה שכל הזחלנים יפעלו לפיהם.

חסימת זחלני AI ב-/robots.txt או בשכבת הרשת משפיעה רק על אפשרות הגילוי ברשת הפתוחה. פעולה זו אינה מונעת מנתוני המוצרים שלך להישלח על ידי Shopify Catalog אל חזיתות החנות מבוססות הסוכנים שהפעלת. כדי לשלוט בנתונים ש-Shopify Catalog משתף עם חזיתות החנות מבוססות הסוכנים, יש לעיין בסעיף הבנת ההגדרות של חזיתות החנות מבוססות הסוכנים שלך.

הבנת ברירת המחדל של קובץ robots.txt ב-Shopify

קובץ ה-robots.txt המוגדר כברירת מחדל ב-Shopify כולל כללים ספציפיים לאופטימיזציית ה-SEO של החנות שלך. להלן הסבר על חלק מהרשומות המרכזיות בו:

Disallow: /admin - מונע סריקה של דפי מנהל המערכת, מכיוון שלבוטים אין גישה אליהם ממילא.
Disallow: /cart - אין צורך לאנדקס דפי סל, מכיוון שהם ייחודיים לכל לקוח.
Disallow: /checkout - אין צורך לסרוק או לאנדקס דפי תשלום.
Disallow: /collections/*+* - מונע אינדוקס של דפי קולקציה מסוננים, שעלולים ליצור בעיות של תוכן כפול.
Disallow: /search - אין צורך לסרוק דפי תוצאות חיפוש.
Disallow: /policies/ - דפי מדיניות שנוצרים באופן אוטומטי דומים בין חנויות שונות, ואין צורך לאנדקס אותם.

כללים אלו עוזרים למנועי חיפוש להתמקד בתוכן הייחודי ובעל הערך שלך, במקום בדפים ניהוליים או כפולים.

מחיקת התאמות אישיות של robots.txt.liquid

אם ברצונך להשתמש שוב בקובץ ה-robots.txt שמוגדר כברירת מחדל, ניתן למחוק את קובץ ה-robots.txt.liquid המותאם אישית שלך.

שלבים:

במנהל המערכת של Shopify, יש לעבור אל חנות מקוונת > ערכות נושא.
יש ללחוץ על > עריכת קוד.
לחץ באמצעות הלחצן הימני על robots.txt.liquid, ובחר באפשרות מחיקה לצמיתות מהתפריט הנפתח.
לחץ על מחיקה.

תמיד ניתן לערוך את קובץ ה-robots.txt.liquid בעתיד, או אם שמרת את ההתאמות האישיות הקודמות שלך, תוכל לשחזר את השינויים על ידי העתקת ההתאמות האישיות הקודמות ששמרת.