Modification du fichier robots.txt.liquid

Les moteurs de recherche, tels que Google, parcourent constamment Internet à la recherche de nouvelles données pour leurs résultats de recherche. Le fichier robots.txt indique aux robots des moteurs de recherche, appelés robots d’exploration, les pages de votre boutique en ligne qu’ils peuvent consulter. Toutes les boutiques Shopify disposent d’un fichier robots.txt par défaut, qui est optimisé pour le référencement naturel (SEO).

Votre plan du site (sitemap) est utilisé par les moteurs de recherche pour placer votre boutique en ligne dans les résultats de recherche. Découvrez comment trouver et soumettre votre plan du site (sitemap).

Sur cette page

Comprendre l’exploration et l’indexation

Lorsque vous travaillez avec le fichier robots.txt, il est important de comprendre la différence entre l’exploration et l’indexation :

Exploration : lorsque les robots des moteurs de recherche (tels que Googlebot) examinent tout le contenu et le code de vos pages et les analysent.
Indexation : lorsque les pages deviennent admissibles à apparaître dans les résultats des moteurs de recherche.

Ces processus ne s’excluent pas mutuellement : les moteurs de recherche peuvent indexer une page sans l’explorer s’ils la découvrent par d’autres moyens.

Considérations

Le fichier robots.txt par défaut fonctionne pour la plupart des boutiques. Si vous souhaitez le personnaliser, vous devez d’abord ajouter un fichier robots.txt.liquid au dossier templates de votre thème dans l’éditeur de code, puis personnaliser le contenu du fichier. Vous pouvez effectuer les modifications suivantes :

Autoriser ou interdire l’exploration de certaines URL.
Ajouter des règles de délai d’exploration pour certains robots d’exploration.
Ajouter des URL de sitemap supplémentaires.
Bloquer certains robots d’exploration.

Le fichier robots.txt se trouve dans le répertoire racine du nom de domaine principal de votre boutique Shopify. Par exemple : exemple.com/robots.txt.

Modifier le fichier robots.txt.liquid

Si vous souhaitez modifier le fichier robots.txt.liquid, vous devriez collaborer avec un Partenaire Shopify ou posséder une expertise en matière de modification de code et de référencement naturel (SEO).

Vous pouvez utiliser Liquid pour ajouter ou supprimer des directives du modèle robots.txt.liquid. Cette méthode préserve la capacité de Shopify à maintenir le fichier à jour automatiquement à l’avenir, et elle est recommandée. Pour obtenir un guide complet sur la modification de ce fichier, consultez la page pour les développeurs de Shopify Customize robots.txt.liquid.

Supprimez toutes les personnalisations ou solutions de contournement antérieures, telles que l’utilisation d’un service tiers comme Cloudflare, avant de modifier le fichier robots.txt.liquid.

Étapes :

Depuis votre interface administrateur Shopify, allez à Boutique en ligne > Thèmes.
Pour le thème concerné, cliquez sur … > Modifier le code.
Cliquez sur Ajouter un nouveau modèle, puis sélectionnez robots.
Cliquez sur Créer un modèle.
Apportez les modifications souhaitées au modèle par défaut. Pour plus d’informations sur les variables Liquid et les cas d’utilisation courants, consultez la page pour les développeurs de Shopify Customize robots.txt.liquid.
Enregistrez les modifications apportées au fichier robots.txt.liquid dans votre thème publié.

Les modifications sont instantanées, mais les robots d’exploration ne réagissent pas toujours immédiatement. Vous pouvez tester les modifications à l’aide de l’outil Google's robots.txt Tester.

Vous pouvez également supprimer le contenu du modèle et le remplacer par des règles en texte brut. Cette méthode est vivement déconseillée, car les règles peuvent devenir obsolètes. Si vous choisissez cette méthode, Shopify ne peut pas garantir que les bonnes pratiques de référencement naturel sont appliquées à votre fichier robots.txt au fil du temps, ni apporter de modifications au fichier avec les futures mises à jour.

Comprendre les messages « Indexée, mais bloquée »

Dans la Google Search Console, les URL peuvent s’afficher comme étant « indexées, mais bloquées par robots.txt ». Il s’agit d’un comportement normal qui ne devrait généralement pas vous inquiéter.

Pourquoi cela se produit-il ?

De nombreuses pages sont intentionnellement bloquées par le fichier robots.txt à des fins d’optimisation du référencement naturel (SEO). Ce message est le moyen pour Google de vous informer qu’il a découvert du contenu bloqué, au cas où le blocage serait involontaire. Chaque élément du fichier robots.txt par défaut de Shopify a une raison d’être et vise à améliorer votre référencement naturel.

Si une page normale de votre site (telle que votre page d’accueil) s’affiche comme « Indexée, mais bloquée », cela signifie généralement que les données de Google concernant votre boutique ne sont plus à jour. Google peut mettre des jours, des semaines, voire des mois, à mettre à jour sa base de données avec les dernières modifications apportées à un site web.

Que faire

Dans la plupart des cas, aucune action n’est nécessaire. Il s’agit du comportement attendu pour les pages dont l’exploration doit être bloquée, mais qui peuvent tout de même être indexées par d’autres méthodes de découverte.

Contrôle de l’accès des robots d’exploration de l’IA

Si vous vendez par le biais de boutiques en ligne agentiques telles que ChatGPT ou Microsoft Copilot, vos données de produits sont alors diffusées sur ces canaux par l'intermédiaire de Shopify Catalog, indépendamment du fichier /robots.txt. Les robots d’exploration de l’IA peuvent également accéder à votre boutique directement via le web ouvert. L'accès des robots d’exploration comporte les deux couches de contrôle suivantes :

Couche réseau : la gestion des robots est assurée directement pour les boutiques sur Shopify, et vous n’avez aucune mesure à prendre. Shopify ne recommande pas de configuration de proxy en amont de Shopify, et ne peut pas non plus fournir d’assistance à ce sujet.
Couche /robots.txt : vous pouvez autoriser ou bloquer des robots d’exploration user-agent spécifiques en personnalisant le modèle robots.txt.liquid de votre boutique. Les règles que vous définissez dans votre fichier /robots.txt sont directionnelles et consultatives, et il n’est pas garanti que tous les robots d’exploration les respectent.

Le blocage des robots d’exploration d’IA au niveau du fichier /robots.txt ou de la couche réseau n’affecte que l’accessibilité sur le web ouvert. Cela n’empêche pas l’envoi des données de vos produits par Shopify Catalog aux boutiques en ligne agentiques que vous avez activées. Pour contrôler ce que Shopify Catalog partage avec les boutiques en ligne agentiques, consultez la section Comprendre les paramètres de vos boutiques en ligne agentiques.

Comprendre le fichier robots.txt par défaut de Shopify

Le fichier robots.txt par défaut de Shopify inclut des règles spécifiques pour optimiser le référencement naturel (SEO) de votre boutique. Voici le rôle de quelques entrées clés :

Disallow: /admin – Empêche l’exploration des pages d’administration, car les robots ne peuvent de toute façon pas y accéder.
Disallow: /cart – Les pages de panier n’ont pas besoin d’être indexées, car elles sont uniques à chaque client.
Disallow: /checkout – Les pages de paiement n’ont pas besoin d’être explorées ni indexées.
Disallow: /collections/*+* – Empêche l’indexation des pages de collection filtrées, ce qui pourrait créer des problèmes de contenu en double.
Disallow: /search – Les pages de résultats de recherche n’ont pas besoin d’être explorées.
Disallow: /policies/ – Les pages de politiques générées automatiquement sont similaires d’une boutique à l’autre et ne nécessitent pas d’indexation.

Ces règles aident les moteurs de recherche à se concentrer sur votre contenu unique et précieux plutôt que sur des pages administratives ou dupliquées.

Supprimer les personnalisations de robots.txt.liquid

Si vous souhaitez réutiliser le fichier robots.txt par défaut, vous pouvez supprimer votre fichier robots.txt.liquid personnalisé.

Étapes :

Depuis votre interface administrateur Shopify, allez à Boutique en ligne > Thèmes.
Cliquez sur > Modifier le code.
Faites un clic droit sur robots.txt.liquid, puis sélectionnez Supprimer définitivement dans le menu déroulant.
Cliquez sur Supprimer.

Vous pourrez toujours modifier le fichier robots.txt.liquid à l’avenir. Si vous avez enregistré vos personnalisations précédentes, vous pourrez rétablir vos modifications en les recopiant.