Edição do robots.txt.liquid

Mecanismos de pesquisa, como o Google, rastreiam constantemente a internet em busca de novos dados para usar nos resultados. O arquivo robots.txt informa aos bots de mecanismos de pesquisa, conhecidos como rastreadores, quais páginas da loja virtual devem ser solicitadas para visualização. Todas as lojas na Shopify têm um arquivo robots.txt padrão que é ideal para a Otimização de mecanismos de pesquisa (SEO).

O mapa do site é usado por mecanismos de pesquisa para posicionar a loja virtual nos resultados. Saiba como encontrar e enviar o mapa do site.

Entender a diferença entre rastreamento e indexação

Ao trabalhar com o robots.txt, é importante entender a diferença entre rastreamento e indexação:

• Rastreamento: quando os bots de mecanismos de pesquisa (como o Googlebot) examinam e analisam todo o conteúdo e o código das páginas.
• Indexação: quando as páginas se qualificam para aparecer nos resultados de mecanismos de pesquisa.

Esses processos não são mutuamente exclusivos. Os mecanismos de pesquisa podem indexar uma página sem rastreá-la se a descobrirem por outros meios.

Considerações

O arquivo robots.txt padrão funciona para a maioria das lojas. Para personalizar o arquivo robots.txt, primeiro adicione um arquivo robots.txt.liquid à pasta templates do tema no editor de código e, depois, personalize o conteúdo do arquivo. É possível fazer as seguintes edições:

• Permitir ou não que determinados URLs sejam rastreados.
• Adicionar regras de atraso de rastreamento para determinados rastreadores.
• Adicionar URLs de mapa do site extras.
• Bloquear determinados rastreadores.

O arquivo robots.txt está localizado no diretório raiz do domínio primário da sua loja na Shopify. Por exemplo: exemplo.com/robots.txt.

Editar o robots.txt.liquid

Se você quiser editar o arquivo robots.txt.liquid, trabalhe com um parceiro da Shopify ou tenha experiência em edições de código e SEO.

Use o Liquid para adicionar ou remover diretivas do modelo robots.txt.liquid. Esse método preserva a capacidade da Shopify de manter o arquivo atualizado automaticamente no futuro e é recomendado. Para ver um guia completo sobre como editar este arquivo, consulte a página para desenvolvedores da Shopify Personalizar o robots.txt.liquid.

Remova quaisquer personalizações ou soluções alternativas anteriores, como o uso de um serviço de terceiros como a Cloudflare, antes de editar o arquivo robots.txt.liquid.

Etapas:

1. No admin da Shopify, acesse Loja virtual > Temas.

2. No tema relevante, clique em … > Editar código.

3. Clique em Adicionar um novo modelo e selecione robots.

4. Clique em Criar modelo.

5. Faça as alterações que você quer no modelo padrão. Para mais informações sobre variáveis do Liquid e casos de uso comuns, consulte a página para desenvolvedores da Shopify Personalizar o robots.txt.liquid.

6. Salve as alterações no arquivo robots.txt.liquid do tema publicado.

As alterações são instantâneas, mas os rastreadores nem sempre reagem imediatamente. É possível testar as alterações usando o Testador de robots.txt do Google.

Você também pode excluir o conteúdo do modelo e substituí-lo por regras de texto simples. Esse método não é recomendado, pois as regras podem ficar desatualizadas. Se você escolher esse método, a Shopify não poderá garantir que as práticas recomendadas de SEO sejam aplicadas ao seu robots.txt ao longo do tempo nem fazer alterações no arquivo em atualizações futuras.

Como entender as mensagens "Indexada, embora bloqueada"

No Google Search Console, os URLs podem ser exibidos como "indexado, embora bloqueado pelo robots.txt". Esse é um comportamento normal e, em geral, não é motivo de preocupação.

Por que isso acontece

Muitas páginas são bloqueadas intencionalmente pelo robots.txt para otimização de SEO. Essa mensagem é a forma como o Google informa que descobriu conteúdo bloqueado, caso o bloqueio não tenha sido intencional. Tudo no arquivo robots.txt padrão da Shopify está lá por um motivo para ajudar no seu SEO.

Se uma página normal em seu site (como a página inicial) for exibida como "Indexada, embora bloqueada", isso geralmente significa que os dados do Google sobre sua loja estão desatualizados. O Google pode levar dias, semanas ou meses para atualizar o banco de dados com as alterações mais recentes de qualquer site.

O que fazer

Na maioria dos casos, nenhuma ação é necessária. Esse é o comportamento esperado para páginas que devem ser bloqueadas para rastreamento, mas que ainda podem ser indexadas por meio de outros métodos de descoberta.

Controlar o acesso de rastreadores de IA

Se você vende por meio de vitrines virtuais com agentes, como o ChatGPT ou o Microsoft Copilot, os dados de produto são distribuídos para esses canais pelo Shopify Catalog, independentemente do /robots.txt. Rastreadores de IA também podem acessar a loja diretamente pela internet (open web). O acesso de rastreadores tem as seguintes duas camadas de controle:

• Camada de rede: o gerenciamento de bots é feito diretamente para as lojas na Shopify, e você não precisa realizar nenhuma ação. A Shopify não recomenda uma configuração de proxy à frente da Shopify, e não pode oferecer atendimento para isso.
• Camada de /robots.txt: é possível permitir ou bloquear rastreadores específicos de agente do usuário ao personalizar o modelo robots.txt.liquid da loja. As regras definidas no arquivo /robots.txt são direcionais e consultivas, e não há garantia de que todos os rastreadores vão segui-las.

Bloquear rastreadores de IA no /robots.txt ou na camada de rede afeta apenas a descoberta na web aberta. Isso não impede que o Shopify Catalog envie os dados de produtos para as vitrines virtuais agênticas ativadas. Para controlar o que o Shopify Catalog compartilha com as vitrines virtuais agênticas, consulte Entender as configurações de vitrines virtuais agênticas.

Como entender o robots.txt padrão da Shopify

O arquivo robots.txt padrão da Shopify inclui regras específicas para otimizar o SEO da sua loja. Veja o que algumas das principais entradas fazem:

• Disallow: /admin - Impede o rastreamento das páginas do admin, pois os bots não conseguem acessá-las de qualquer maneira
• Disallow: /cart - As páginas do carrinho não precisam ser indexadas porque são exclusivas para cada cliente
• Disallow: /checkout - As páginas de checkout não precisam ser rastreadas nem indexadas
• Disallow: /collections/*+* - Impede que páginas de coleção filtradas sejam indexadas, o que poderia criar problemas de conteúdo duplicado
• Disallow: /search - As páginas de resultados de pesquisa não precisam ser rastreadas
• Disallow: /policies/ - As páginas de políticas geradas automaticamente são semelhantes em todas as lojas e não precisam de indexação

Essas regras ajudam os mecanismos de pesquisa a se concentrarem em seu conteúdo exclusivo e valioso, em vez de páginas administrativas ou duplicadas.

Excluir personalizações do robots.txt.liquid

Se você quiser usar o arquivo robots.txt padrão novamente, basta excluir o arquivo robots.txt.liquid personalizado.

Etapas:

1. No admin da Shopify, acesse Loja virtual > Temas.

2. Clique em > Editar código.

3. Clique com o botão direito do mouse no robots.txt.liquid e selecione Excluir permanentemente no menu suspenso.

4. Clique em Excluir.

Você sempre pode editar o arquivo robots.txt.liquid no futuro ou, se salvou as personalizações anteriores, refazer as alterações copiando as personalizações salvas.