Redigera robots.txt.liquid

Sökmotorer, till exempel Google, genomsöker ständigt internet i jakt på ny data som källa för sina sökresultat. Filen robots.txt talar om för sökmotorbotar, kända som sökrobotar, vilka sidor de ska begära att få se från din webbshop. Alla Shopify-butiker har en standardfil för robots.txt som är optimal för sökmotoroptimering (SEO).

Din webbplatskarta används av sökmotorer för att placera din webbshop i sökresultaten. Lär dig hur du hittar och skickar in din webbplatskarta.

På den här sidan

Förstå genomsökning kontra indexering

När du arbetar med robots.txt är det viktigt att förstå skillnaden mellan genomsökning och indexering:

Genomsökning: När sökmotorbotar (såsom Googlebot) granskar allt innehåll och all kod på dina sidor och analyserar det.
Indexering: När sidor blir kvalificerade för att visas i sökmotorresultat

Dessa processer utesluter inte varandra – sökmotorer kan indexera en sida utan att genomsöka den om de upptäcker den på andra sätt.

Att tänka på

Standardfilen för robots.txt fungerar för de flesta butiker. Om du vill anpassa filen robots.txt måste du först lägga till en robots.txt.liquid-fil i ditt temas mapp templates i kodredigeraren och sedan anpassa innehållet i filen. Du kan göra följande redigeringar:

Tillåt eller neka genomsökning av vissa URL:er.
Lägg till crawl-delay-regler för vissa sökrobotar.
Lägg till extra webbplatskarte-URL:er.
Blockera vissa sökrobotar.

Filen robots.txt ligger i rotkatalogen för din Shopify-butiks huvuddomän. Till exempel: example.com/robots.txt.

Redigera robots.txt.liquid

Om du vill redigera filen robots.txt.liquid bör du samarbeta med en Shopify-partner eller ha expertkunskaper inom kodredigering och SEO.

Du kan använda Liquid för att lägga till eller ta bort direktiv från robots.txt.liquid-mallen. Den här metoden bevarar Shopifys förmåga att hålla filen uppdaterad automatiskt i framtiden och rekommenderas. En komplett guide till hur du redigerar den här filen finns på Shopifys utvecklarsida Anpassa robots.txt.liquid.

Ta bort alla tidigare anpassningar eller lösningar, till exempel användning av en tredjepartstjänst som Cloudflare, innan du redigerar filen robots.txt.liquid.

Steg:

Gå till Webbshop > Teman från din Shopify-adminpanel.
För det relevanta temat klickar du på … > Redigera kod.
Klicka på Lägg till en ny mall och välj sedan robots.
Klicka på Skapa mall.
Gör de ändringar du vill göra i standardmallen. Mer information om Liquid-variabler och vanliga användningsfall finns på Shopifys utvecklarsida Anpassa robots.txt.liquid.
Spara ändringarna i filen robots.txt.liquid i ditt publicerade tema.

Ändringarna är omedelbara, men sökrobotar reagerar inte alltid direkt. Du kan testa ändringar med Googles testverktyg för robots.txt.

Du kan även radera innehållet i mallen och ersätta det med regler i oformaterad text. Denna metod rekommenderas absolut inte, eftersom reglerna kan bli inaktuella. Om du väljer den här metoden kan Shopify inte garantera att bästa praxis för SEO tillämpas på din robots.txt över tid, eller göra ändringar i filen med framtida uppdateringar.

Förstå meddelanden om ”indexerad, men blockerad”

I Google Search Console kan URL:er visas som ”indexerad, men blockerad av robots.txt”. Detta är normalt och vanligtvis inget att oroa sig för.

Varför detta händer

Många sidor blockeras avsiktligt av robots.txt för SEO-optimering. Det här meddelandet är Googles sätt att meddela dig att de har upptäckt blockerat innehåll, ifall blockeringen var oavsiktlig. Allt i Shopifys standardfil för robots.txt finns där av en anledning för att hjälpa din SEO.

Om en vanlig sida på din webbplats (till exempel din startsida) visas som ”indexerad, men blockerad” betyder det vanligtvis att Googles data om din butik är inaktuell. Det kan ta dagar, veckor eller månader för Google att uppdatera sin databas med de senaste ändringarna på en webbplats.

Vad du kan göra

I de flesta fall behövs ingen åtgärd. Detta är ett förväntat beteende för sidor som ska blockeras från genomsökning men som ändå kan bli indexerade genom andra upptäcktsmetoder.

Styra åtkomst för AI-sökrobotar

Om du säljer via agentdrivna digitala skyltfönster såsom ChatGPT eller Microsoft Copilot, syndikeras din produktdata till de kanalerna via Shopify Catalog, oberoende av /robots.txt. AI-sökrobotar kan också få åtkomst till din butik direkt via den öppna webben. Åtkomst för sökrobotar har följande två kontrollager:

Nätverkslager: Hantering av botar sker direkt för butiker på Shopify och du behöver inte vidta några åtgärder. Shopify rekommenderar inte en proxykonfiguration framför Shopify och kan inte heller ge support för detta.
/robots.txt-lager: Du kan tillåta eller blockera sökrobotar med specifika användaragenter genom att anpassa din butiks robots.txt.liquid-mall. Reglerna du ställer in i din /robots.txt-fil är vägledande och rådgivande, och det är inte garanterat att alla sökrobotar följer dem.

Att blockera AI-sökrobotar i /robots.txt eller på nätverkslagret påverkar endast synligheten på det öppna nätet. Det förhindrar inte att dina produktdata skickas av Shopify Catalog till de agentbaserade digitala skyltfönster som du har aktiverat. Om du vill styra vad Shopify Catalog delar med agentbaserade digitala skyltfönster, se Förstå dina inställningar för agentbaserade digitala skyltfönster.

Förstå Shopifys standard-robots.txt

Shopifys standardfil för robots.txt innehåller specifika regler för att optimera din butiks SEO. Här är vad några viktiga poster gör:

Disallow: /admin – hindrar genomsökning av admin-sidor eftersom botar ändå inte kan komma åt dem
Disallow: /cart – varukorgssidor behöver inte indexeras eftersom de är unika för varje kund
Disallow: /checkout – kassasidor behöver inte genomsökas eller indexeras
Disallow: /collections/*+* – förhindrar att filtrerade produktseriesidor indexeras, vilket kan skapa problem med duplicerat innehåll
Disallow: /search – sökresultatsidor behöver inte genomsökas
Disallow: /policies/ – automatiskt genererade policysidor är likadana i alla butiker och behöver inte indexeras

Dessa regler hjälper sökmotorer att fokusera på ditt unika, värdefulla innehåll istället för på administrativa eller duplicerade sidor.

Radera anpassningar av robots.txt.liquid

Om du vill använda standardfilen för robots.txt igen kan du radera din anpassade fil robots.txt.liquid.

Steg:

Gå till Webbshop > Teman från din Shopify-adminpanel.
Klicka på > Redigera kod.
Högerklicka på robots.txt.liquid och välj Radera permanent i rullgardinsmenyn.
Klicka på Radera.

Du kan alltid redigera filen robots.txt.liquid igen i framtiden. Om du har sparat dina tidigare anpassningar kan du återskapa dem genom att kopiera över dem.