Edycja pliku robots.txt.liquid

Wyszukiwarki, takie jak Google, nieustannie przeszukują internet w poszukiwaniu nowych danych jako źródła dla swoich wyników wyszukiwania. Plik robots.txt informuje boty wyszukiwarek, zwane crawlerami, o tym, które strony sklepu online mają być przeglądane. Wszystkie sklepy Shopify mają domyślny plik robots.txt, który jest optymalny pod kątem pozycjonowania stron (SEO).

Mapa witryny jest używana przez wyszukiwarki do umieszczania Twojego sklepu online w wynikach wyszukiwania. Dowiedz się, jak znaleźć i przesłać mapę witryny.

Na tej stronie

Zrozumienie różnicy między przeszukiwaniem a indeksowaniem

Podczas pracy z plikiem robots.txt ważne jest, aby zrozumieć różnicę między przeszukiwaniem a indeksowaniem:

Przeszukiwanie: boty wyszukiwarek (takie jak Googlebot) sprawdzają całą zawartość i kod na stronach i analizują je
Indeksowanie: strony kwalifikują się do wyświetlania w wynikach wyszukiwania

Procesy te nie wykluczają się wzajemnie – wyszukiwarki mogą zaindeksować stronę bez jej przeszukiwania, jeśli odkryją ją w inny sposób.

Kwestie do rozważenia

Domyślny plik robots.txt działa w przypadku większości sklepów. Jeśli chcesz dostosować plik robots.txt, musisz najpierw dodać plik robots.txt.liquid do folderu templates swojego szablonu w edytorze kodu, a następnie dostosować zawartość pliku. Możesz wprowadzić następujące zmiany:

Zezwalaj na przeszukiwanie określonych adresów URL lub je blokuj.
Dodaj reguły opóźnienia przeszukiwania (crawl-delay) dla określonych robotów indeksujących.
Dodaj dodatkowe adresy URL mapy witryny.
Blokuj określone roboty indeksujące.

Plik robots.txt znajduje się w katalogu głównym domeny podstawowej sklepu Shopify. Na przykład: example.com/robots.txt.

Edycja pliku robots.txt.liquid

Aby edytować plik robots.txt.liquid , nawiąż współpracę z partnerem Shopify lub upewnij się, że masz doświadczenie w edycji kodu i pozycjonowaniu stron (SEO).

Możesz użyć języka Liquid, aby dodać lub usunąć dyrektywy z szablonu robots.txt.liquid. Ta metoda zachowuje zdolność Shopify do automatycznej aktualizacji pliku w przyszłości i jest zalecana. Pełny przewodnik po edycji tego pliku znajdziesz na stronie dla deweloperów Shopify: Dostosowywanie pliku robots.txt.liquid.

Przed edycją pliku robots.txt.liquid usuń wszystkie wcześniejsze dostosowania lub rozwiązania alternatywne, takie jak korzystanie z usługi zewnętrznej, np. Cloudflare.

Kroki:

W panelu administracyjnym Shopify przejdź do opcji Sklep online > Szablony.
Dla odpowiedniego szablonu kliknij kolejno … > Edytuj kod.
Kliknij opcję Dodaj nowy szablon, a następnie wybierz roboty.
Kliknij opcję Utwórz szablon.
Wprowadź zmiany w domyślnym szablonie. Więcej informacji na temat zmiennych Liquid i typowych przypadków użycia znajdziesz na stronie dla deweloperów Shopify: Dostosowywanie pliku robots.txt.liquid.
Zapisz zmiany w pliku robots.txt.liquid w opublikowanym szablonie.

Zmiany są natychmiastowe, ale roboty indeksujące nie zawsze reagują od razu. Zmiany możesz przetestować za pomocą narzędzia Tester robots.txt od Google.

Możesz również usunąć zawartość szablonu i zastąpić ją regułami w formie zwykłego tekstu. Ta metoda jest zdecydowanie niezalecana, ponieważ reguły mogą stać się nieaktualne. Jeśli wybierzesz tę metodę, Shopify nie może zagwarantować, że najlepsze praktyki SEO będą stosowane w pliku robots.txt w miarę upływu czasu, ani wprowadzać zmian do pliku w przyszłych aktualizacjach.

Objaśnienie komunikatów „Zaindeksowano, chociaż zablokowano”

W Google Search Console adresy URL mogą być wyświetlane z komunikatem „zaindeksowano, chociaż zablokowano przez plik robots.txt”. Jest to normalne zachowanie i zazwyczaj nie stanowi powodu do niepokoju.

Dlaczego tak się dzieje

Wiele stron jest celowo blokowanych przez plik robots.txt w celu optymalizacji SEO. Ten komunikat to sposób, w jaki Google informuje o wykryciu zablokowanej zawartości na wypadek, gdyby blokada była niezamierzona. Wszystkie elementy domyślnego pliku robots.txt Shopify zostały dodane w określonym celu – aby pomóc w pozycjonowaniu stron (SEO).

Jeśli zwykła strona w Twojej witrynie (np. strona główna) jest wyświetlana z komunikatem „Zaindeksowano, chociaż zablokowano”, zwykle oznacza to, że dane Google na temat Twojego sklepu są nieaktualne. Aktualizacja bazy danych Google o najnowsze zmiany na dowolnej stronie internetowej może potrwać dni, tygodnie, a nawet miesiące.

Co należy zrobić

W większości przypadków nie trzeba podejmować żadnych działań. Jest to oczekiwane zachowanie w przypadku stron, które powinny być blokowane przed przeszukiwaniem, ale nadal mogą być indeksowane za pomocą innych metod wykrywania.

Kontrolowanie dostępu dla crawlerów AI

Jeśli sprzedajesz przez witryny sklepowe oparte na agentach, takie jak ChatGPT lub Microsoft Copilot, Twoje dane produktów są udostępniane do tych kanałów za pośrednictwem Shopify Catalog, niezależnie od pliku /robots.txt. Crawlery AI mogą również uzyskiwać dostęp do sklepu bezpośrednio przez otwartą sieć. Kontrola dostępu crawlerów odbywa się na dwóch warstwach:

Warstwa sieciowa: Zarządzanie botami dla sklepów na platformie Shopify jest obsługiwane bezpośrednio i nie musisz podejmować żadnych działań. Shopify nie zaleca konfiguracji proxy przed platformą Shopify i nie zapewnia wsparcia w tym zakresie.
Warstwa /robots.txt: Możesz zezwolić na dostęp określonym crawlerom na podstawie agenta użytkownika lub go zablokować, dostosowując szablon robots.txt.liquid sklepu. Reguły ustawione w pliku /robots.txt stanowią jedynie wytyczne i zalecenia, dlatego nie ma gwarancji, że wszystkie crawlery będą ich przestrzegać.

Blokowanie robotów indeksujących AI w pliku /robots.txt lub warstwie sieciowej wpływa tylko na możliwość znalezienia w otwartej sieci. Nie zapobiega to przesyłaniu danych produktów przez Shopify Catalog do aktywowanych agentowych witryn sklepu. Aby kontrolować, co Shopify Catalog udostępnia agentowym witrynom sklepu, zapoznaj się z sekcją Zrozumienie ustawień agentowych witryn sklepu.

Objaśnienie domyślnego pliku robots.txt Shopify

Domyślny plik robots.txt Shopify zawiera określone reguły optymalizujące SEO Twojego sklepu. Oto, za co odpowiadają niektóre kluczowe wpisy:

Disallow: /admin — uniemożliwia przeszukiwanie stron panelu administracyjnego, ponieważ boty i tak nie mają do nich dostępu
Disallow: /cart — strony koszyka nie muszą być indeksowane, ponieważ są unikalne dla każdego klienta
Disallow: /checkout — strony realizacji zakupu nie muszą być przeszukiwane ani indeksowane
Disallow: /collections/*+* — zapobiega indeksowaniu stron filtrowanych kolekcji, co mogłoby powodować problemy z duplikacją treści
Disallow: /search — strony wyników wyszukiwania nie muszą być przeszukiwane
Disallow: /policies/ — automatycznie generowane strony polityk są podobne w różnych sklepach i nie wymagają indeksowania

Te reguły pomagają wyszukiwarkom skupić się na unikalnej, wartościowej treści, a nie na stronach administracyjnych lub zduplikowanych.

Usuń dostosowania pliku robots.txt.liquid

Jeśli chcesz ponownie użyć domyślnego pliku robots.txt, możesz usunąć niestandardowy plik robots.txt.liquid.

Kroki:

W panelu administracyjnym Shopify przejdź do opcji Sklep online > Szablony.
Kliknij kolejno > Edytuj kod.
Kliknij prawym przyciskiem myszy plik robots.txt.liquid i wybierz z menu rozwijanego opcję Usuń trwale.
Kliknij przycisk Usuń.

W przyszłości możesz w każdej chwili edytować plik robots.txt.liquid. Jeśli masz zapisane poprzednie dostosowania, możesz je przywrócić, kopiując je.