Tiedoston robots.txt.liquid muokkaaminen

Hakukoneet, kuten Google, indeksoivat jatkuvasti internetiä etsiessään uutta dataa hakutulostensa lähteeksi. Tiedosto robots.txt kertoo hakukoneroboteille eli indeksoijille, mitä sivuja ne voivat pyytää tarkasteltavaksi verkkokaupastasi. Kaikilla Shopify-kaupoilla on oletusarvoinen robots.txt-tiedosto, joka on optimaalinen hakukoneoptimointia (SEO) varten.

Hakukoneet käyttävät sivukarttaasi sijoittaakseen verkkokauppasi hakutuloksiin. Lue, miten voit löytää ja lähettää sivukarttasi.

Tällä sivulla

Indeksoinnin ja hakemistoon lisäämisen erot

Kun käsittelet robots.txt-tiedostoa, on tärkeää ymmärtää indeksoinnin ja hakemistoon lisäämisen ero:

Indeksointi: Kun hakukonerobotit (kuten Googlebot) tutkivat kaiken sivujesi sisällön ja koodin ja analysoivat sen
Hakemistoon lisääminen: Kun sivut voivat tulla näkyviin hakukonetuloksissa

Nämä prosessit eivät sulje toisiaan pois – hakukoneet voivat lisätä sivun hakemistoon indeksoimatta sitä, jos ne löytävät sen muuta kautta.

Huomioitavia seikkoja

Oletusarvoinen robots.txt-tiedosto toimii useimmissa kaupoissa. Jos haluat mukauttaa robots.txt-tiedostoa, sinun on ensin lisättävä robots.txt.liquid-tiedosto teemasi templates-kansioon koodieditorissa ja mukautettava sitten tiedoston sisältöä. Voit tehdä seuraavia muokkauksia:

Salli tai estä tiettyjen URL-osoitteiden indeksointi.
Lisää indeksointiviivesääntöjä tietyille indeksointiroboteille.
Lisää ylimääräisiä sivukartan URL-osoitteita.
Estä tiettyjä indeksointirobotteja.

robots.txt-tiedosto sijaitsee Shopify-kauppasi ensisijaisen verkkotunnuksen juurihakemistossa. Esimerkiksi: example.com/robots.txt.

Robots.txt.liquid-tiedoston muokkaaminen

Jos haluat muokata robots.txt.liquid-tiedostoa, sinun kannattaa tehdä yhteistyötä Shopify Partnerin kanssa tai sinulla on oltava asiantuntemusta koodinmuokkauksesta ja hakukoneoptimoinnista (SEO).

Voit lisätä tai poistaa direktiivejä robots.txt.liquid-mallista Liquidin avulla. Tämä menetelmä säilyttää Shopifyn mahdollisuuden päivittää tiedosto automaattisesti tulevaisuudessa, ja sitä suositellaan. Täydelliset ohjeet tämän tiedoston muokkaamiseen löydät Shopifyn kehittäjäsivulta Customize robots.txt.liquid.

Poista kaikki aiemmat mukautukset tai tilapäisratkaisut, kuten kolmannen osapuolen palvelun (esim. Cloudflare) käyttö, ennen kuin muokkaat robots.txt.liquid-tiedostoa.

Vaiheet:

Siirry Shopifyn ohjausnäkymässä kohtaan Verkkokauppa > Teemat.
Napsauta haluamasi teeman kohdalla … > Muokkaa koodia.
Napsauta Lisää uusi malli ja valitse sitten robots.
Napsauta Luo malli.
Tee haluamasi muutokset oletusmalliin. Lisätietoja Liquid-muuttujista ja yleisistä käyttötapauksista löydät Shopifyn kehittäjäsivulta Customize robots.txt.liquid.
Tallenna muutokset julkaistun teemasi robots.txt.liquid-tiedostoon.

Muutokset tulevat voimaan heti, mutta indeksointirobotit eivät aina reagoi välittömästi. Voit testata muutoksia Googlen robots.txt-testausohjelmalla.

Voit myös poistaa mallin sisällön ja korvata sen pelkän tekstin säännöillä. Tätä menetelmää ei suositella lainkaan, koska säännöt saattavat vanhentua. Jos valitset tämän tavan, Shopify ei voi varmistaa, että hakukoneoptimoinnin parhaita käytäntöjä sovelletaan robots.txt-tiedostoosi ajan myötä tai että tiedostoon tehdään muutoksia tulevissa päivityksissä.

”Indeksoitu, mutta estetty” -viestien ymmärtäminen

Google Search Consolessa URL-osoitteet saatetaan näyttää tilassa ”indeksoitu, mutta estetty robots.txt-tiedostolla”. Tämä on normaalia, eikä se yleensä anna aihetta huoleen.

Miksi näin tapahtuu

Monet sivut on tarkoituksella estetty robots.txt-tiedostolla hakukoneoptimoinnin vuoksi. Tällä viestillä Google ilmoittaa sinulle, että se on löytänyt estettyä sisältöä siltä varalta, että estäminen oli tahatonta. Kaikki Shopifyn oletusarvoisessa robots.txt-tiedostossa on olemassa syystä ja auttaa hakukoneoptimoinnissasi.

Jos jokin sivustosi tavallinen sivu (kuten etusivusi) näkyy tilassa ”Indeksoitu, mutta estetty”, se tarkoittaa yleensä, että Googlen tiedot kaupastasi ovat vanhentuneet. Googlelta voi kestää päiviä, viikkoja tai kuukausia päivittää tietokantansa minkä tahansa verkkosivuston uusimmilla muutoksilla.

Mitä tehdä

Useimmissa tapauksissa toimenpiteitä ei tarvita. Tämä on odotettua toimintaa sivuille, joiden indeksointi tulisi estää, mutta jotka saatetaan silti indeksoida muiden löytämismenetelmien kautta.

Tekoälyindeksoijien pääsyn hallinta

Jos myyt agenttipohjaisissa myyntipaikoissa, kuten ChatGPT tai Microsoft Copilot, tuotetietosi jaetaan näihin kanaviin Shopify Catalogin kautta /robots.txt-tiedostosta riippumatta. Tekoälyindeksoijat saattavat myös käyttää kauppaasi suoraan avoimen verkon kautta. Indeksoijien pääsyn hallinnassa on seuraavat kaksi tasoa:

Verkkokerros: Shopifyssa olevien kauppojen bottien hallinta hoidetaan suoraan, eikä sinun tarvitse tehdä mitään. Shopify ei suosittele välityspalvelimen määrittämistä Shopifyn eteen eikä voi myöskään tarjota tähän tukea.
/robots.txt-taso: Voit sallia tai estää tietyt käyttäjäagenttien indeksoijat mukauttamalla kauppasi robots.txt.liquid-mallia. /robots.txt-tiedostossa asettamasi säännöt ovat suuntaa antavia ja ohjeellisia, eikä ole taattua, että kaikki indeksoijat noudattavat niitä.

Tekoälyindeksoijien estäminen /robots.txt-tiedostossa tai verkkokerroksessa vaikuttaa vain avoimen verkon löydettävyyteen. Se ei estä Shopify Catalogia lähettämästä tuotetietojasi aktivoimiisi agenttimyyntipaikkoihin. Jos haluat hallita sitä, mitä Shopify Catalog jakaa agenttimyyntipaikkojen kanssa, katso lisätietoja kohdasta Agenttimyyntipaikkojesi asetusten ymmärtäminen.

Shopifyn oletusarvoisen robots.txt-tiedoston ymmärtäminen

Shopifyn oletusarvoinen robots.txt-tiedosto sisältää erityisiä sääntöjä, joilla optimoidaan kauppasi hakukoneoptimointia. Seuraavassa kerrotaan, mitä jotkin tärkeimmät merkinnät tekevät:

Disallow: /admin – Estää ohjausnäkymän sivujen indeksoinnin, koska botit eivät pääse niihin muutenkaan käsiksi
Disallow: /cart – Ostoskorisivuja ei tarvitse indeksoida, koska ne ovat jokaiselle asiakkaalle yksilöllisiä
Disallow: /checkout – Kassasivuja ei tarvitse indeksoida
Disallow: /collections/*+* – Estää suodatettujen kokoelmasivujen indeksoinnin, mikä voisi aiheuttaa päällekkäisen sisällön ongelmia
Disallow: /search – Hakutulossivuja ei tarvitse indeksoida
Disallow: /policies/ – Automaattisesti luodut käytäntösivut ovat samankaltaisia eri kaupoissa, eikä niitä tarvitse indeksoida

Nämä säännöt auttavat hakukoneita keskittymään yksilölliseen ja arvokkaaseen sisältöösi hallinnollisten tai päällekkäisten sivujen sijaan.

Robots.txt.liquid-mukautusten poistaminen

Jos haluat taas käyttää oletusarvoista robots.txt-tiedostoa, voit poistaa mukautetun robots.txt.liquid-tiedostosi.

Vaiheet:

Siirry Shopifyn ohjausnäkymässä kohtaan Verkkokauppa > Teemat.
Napsauta > Muokkaa koodia.
Napsauta robots.txt.liquid-tiedostoa hiiren kakkospainikkeella ja valitse pudotusvalikosta Poista pysyvästi.
Napsauta Poista.

Voit aina muokata robots.txt.liquid-tiedostoa tulevaisuudessa, tai jos olet tallentanut aiemmat mukautuksesi, voit tehdä muutokset uudelleen kopioimalla aiemmin tallentamasi mukautukset.