Редактирование robots.txt.liquid

Поисковые системы, такие как Google, постоянно выполняют обход интернета в поиске новых данных для результатов поиска. Файл robots.txt указывает ботам поисковых систем (так называемым поисковым роботам), какие страницы вашего интернет-магазина можно запрашивать для просмотра. Во всех магазинах Shopify есть файл robots.txt по умолчанию, который оптимален для SEO (поисковой оптимизации).

Ваша карта сайта используется поисковыми системами для размещения интернет-магазина в результатах поиска. Узнайте, как найти и отправить карту сайта.

На этой странице

Разница между обходом и индексированием

При работе с файлом robots.txt важно понимать разницу между обходом и индексированием:

Обход: процесс, при котором боты поисковых систем (например, Googlebot) изучают и анализируют весь контент и код на ваших страницах.
Индексирование: процесс, при котором страницы становятся доступными для показа в результатах поиска.

Эти процессы не являются взаимоисключающими — поисковые системы могут проиндексировать страницу без ее обхода, если обнаружат ее другими способами.

Что нужно учесть

Файл robots.txt по умолчанию подходит для большинства магазинов. Если вы хотите настроить файл robots.txt, сначала необходимо добавить файл robots.txt.liquid в папку templates (шаблоны) вашей темы в редакторе кода, а затем изменить его содержимое. Вы можете внести следующие изменения:

Разрешить или запретить обход определенных URL-адресов.
Добавить правила задержки обхода (crawl-delay) для определенных поисковых роботов.
Добавить дополнительные URL-адреса карт сайта.
Заблокировать определенных поисковых роботов.

Файл robots.txt находится в корневом каталоге основного доменного имени вашего магазина Shopify. Например: example.com/robots.txt.

Редактирование robots.txt.liquid

Если вы хотите отредактировать файл robots.txt.liquid, вам следует обратиться к партнеру Shopify или обладать знаниями в области написания кода и SEO.

Вы можете использовать Liquid для добавления или удаления директив из шаблона robots.txt.liquid. Этот рекомендуемый метод позволяет Shopify автоматически обновлять файл в будущем. Полное руководство по редактированию этого файла см. на странице для разработчиков Shopify Настройка robots.txt.liquid.

Перед редактированием файла robots.txt.liquid удалите все предыдущие настройки и обходные пути, такие как использование сторонних сервисов, например Cloudflare.

Шаги:

В панели администратора Shopify перейдите в раздел Интернет-магазин > Темы.
Для нужной темы нажмите … > Изменить код.
Нажмите Добавить новый шаблон и выберите robots.
Нажмите Создать шаблон.
Внесите необходимые изменения в шаблон по умолчанию. Для получения дополнительной информации о переменных Liquid и распространенных случаях использования обратитесь к странице для разработчиков Shopify Настройка robots.txt.liquid.
Сохраните изменения в файле robots.txt.liquid в вашей опубликованной теме.

Изменения применяются мгновенно, но поисковые роботы не всегда реагируют сразу. Вы можете протестировать изменения с помощью Инструмента проверки файла robots.txt от Google.

Вы также можете удалить содержимое шаблона и заменить его правилами в виде простого текста. Этот метод крайне не рекомендуется, так как правила могут устареть. Если вы выберете этот метод, Shopify не сможет гарантировать применение лучших практик SEO к вашему файлу robots.txt в дальнейшем или вносить в него изменения при будущих обновлениях.

Что означают сообщения «Проиндексировано, несмотря на блокировку»

В Google Search Console URL-адреса могут отображаться со статусом «Проиндексировано, несмотря на блокировку файлом robots.txt». Это нормальное поведение, которое обычно не является поводом для беспокойства.

Почему это происходит

Многие страницы намеренно блокируются файлом robots.txt для SEO-оптимизации. Это сообщение — способ Google сообщить вам об обнаружении заблокированного контента на случай, если блокировка была непреднамеренной. Все правила в файле robots.txt по умолчанию в Shopify нужны для улучшения вашей SEO-оптимизации.

Если обычная страница на вашем сайте (например, главная страница) отображается со статусом «Проиндексировано, несмотря на блокировку», обычно это означает, что данные Google о вашем магазине устарели. Google может потребоваться несколько дней, недель или месяцев, чтобы обновить свою базу данных последними изменениями на любом веб-сайте.

Что делать

В большинстве случаев никаких действий не требуется. Это ожидаемое поведение для страниц, которые должны быть заблокированы для обхода, но все равно могут быть проиндексированы с помощью других методов обнаружения.

Управление доступом ИИ-краулеров

Если вы продаете товары через агентные витрины, такие как ChatGPT или Microsoft Copilot, данные о ваших товарах передаются в эти каналы через Shopify Catalog независимо от файла /robots.txt. ИИ-краулеры также могут получить прямой доступ к вашему магазину через открытую сеть. Доступ краулеров имеет следующие два уровня контроля:

Сетевой уровень: управление ботами для магазинов на Shopify осуществляется напрямую, поэтому вам не нужно предпринимать никаких действий. Shopify не рекомендует настраивать прокси-серверы перед Shopify и не предоставляет поддержку по этому вопросу.
Уровень /robots.txt: вы можете разрешить или заблокировать определенных краулеров по их агенту пользователя, настроив шаблон robots.txt.liquid вашего магазина. Правила, заданные в файле /robots.txt, носят рекомендательный характер, и не все краулеры обязаны им следовать.

Блокировка ИИ-краулеров в файле /robots.txt или на сетевом уровне влияет только на легкость обнаружения в открытом интернете. Это не препятствует передаче данных о ваших товарах из Shopify Catalog на активированные вами агентные витрины. Чтобы контролировать, какие данные Shopify Catalog передает на агентные витрины, ознакомьтесь с разделом Общие сведения о настройках агентных витрин.

Как работает файл robots.txt в Shopify по умолчанию

Файл robots.txt по умолчанию в Shopify содержит определенные правила для оптимизации SEO вашего магазина. Вот что делают некоторые ключевые записи:

Disallow: /admin — предотвращает обход страниц панели администратора, поскольку боты в любом случае не могут получить к ним доступ.
Disallow: /cart — страницы корзины не нужно индексировать, так как они уникальны для каждого клиента.
Disallow: /checkout — страницы оформления заказа не нужно обходить или индексировать.
Disallow: /collections/*+* — предотвращает индексирование отфильтрованных страниц коллекций, что могло бы привести к проблемам с дублированием контента.
Disallow: /search — страницы результатов поиска не нужно обходить.
Disallow: /policies/ — автоматически сгенерированные страницы политик похожи в разных магазинах и не нуждаются в индексировании.

Эти правила помогают поисковым системам сосредоточиться на вашем уникальном и ценном контенте, а не на административных или повторяющихся страницах.

Удаление настроек robots.txt.liquid

Если вы хотите снова использовать файл robots.txt по умолчанию, вы можете удалить свой пользовательский файл robots.txt.liquid.

Шаги:

В панели администратора Shopify перейдите в раздел Интернет-магазин > Темы.
Нажмите > Изменить код.
Нажмите правой кнопкой мыши на robots.txt.liquid и выберите Удалить навсегда в выпадающем меню.
Нажмите Удалить.

Вы всегда сможете изменить файл robots.txt.liquid в будущем, а если вы сохранили свои предыдущие изменения, то сможете восстановить их, скопировав сохраненные данные.