Urejanje datoteke robots.txt.liquid

Spletni iskalniki, kot je Google, se nenehno plazijo po spletu in iščejo nove podatke za svoje rezultate iskanja. Datoteka robots.txt botom spletnih iskalnikov, znanim kot pajki, pove, katere strani vaše spletne trgovine naj zahtevajo za ogled. Vse trgovine Shopify imajo privzeto datoteko robots.txt, ki je optimalna za optimizacijo iskalnikov (SEO).

Spletni iskalniki vaš zemljevid spletnega mesta uporabljajo za uvrstitev vaše spletne trgovine med rezultate iskanja. Preberite, kako najdete in predložite svoj zemljevid spletnega mesta.

Na tej strani

Razumevanje razlike med plazenjem in indeksiranjem

Pri delu z datoteko robots.txt je pomembno razumeti razliko med plazenjem in indeksiranjem:

Plazenje: ko boti spletnih iskalnikov (kot je Googlebot) pregledajo in analizirajo vso vsebino in kodo na vaših straneh
Indeksiranje: ko lahko strani postanejo prikazane v rezultatih iskanja na spletu

Ta postopka se medsebojno ne izključujeta – spletni iskalniki lahko indeksirajo stran brez plazenja, če jo odkrijejo na drug način.

Kaj morate upoštevati

Privzeta datoteka robots.txt ustreza večini trgovin. Če jo želite prilagoditi, morate najprej dodati datoteko robots.txt.liquid v mapo templates svoje teme v urejevalniku kode in nato prilagoditi vsebino datoteke. Izvedete lahko naslednja urejanja:

Dovolite ali preprečite plazenje po določenih URL-naslovih.
Dodajte pravila za zakasnitev plazenja za določene pajke.
Dodajte dodatne URL-naslove za zemljevid spletnega mesta.
Blokirajte določene pajke.

Datoteka robots.txt se nahaja v korenskem imeniku primarnega imena domene vaše trgovine Shopify. Na primer: example.com/robots.txt.

Urejanje datoteke robots.txt.liquid

Če želite urediti datoteko robots.txt.liquid, vam svetujemo, da sodelujete s partnerjem Shopify Partner ali imate strokovno znanje o urejanju kode in SEO-ju.

Jezik Liquid lahko uporabite za dodajanje ali odstranjevanje direktiv iz predloge robots.txt.liquid. S tem načinom se ohrani Shopifyjeva zmožnost samodejnega posodabljanja datoteke v prihodnosti, zato ga priporočamo. Za celoten vodnik o urejanju te datoteke si oglejte Shopifyjevo stran za razvijalce Customize robots.txt.liquid.

Preden uredite datoteko robots.txt.liquid, odstranite morebitne prejšnje prilagoditve ali rešitve, kot je uporaba storitev zunanjega izvajalca (npr. Cloudflare).

Koraki:

V skrbniku Shopify pojdite v Spletna trgovina > Teme.
Za ustrezno temo kliknite … > Uredi kodo.
Kliknite Dodaj novo predlogo in nato izberite robots.
Kliknite Ustvari predlogo.
Izvedite želene spremembe v privzeti predlogi. Za več informacij o spremenljivkah v jeziku Liquid in pogostih primerih uporabe si oglejte Shopifyjevo stran za razvijalce Customize robots.txt.liquid.
Shranite spremembe v datoteki robots.txt.liquid svoje objavljene teme.

Spremembe se uveljavijo takoj, vendar se pajki nanje ne odzovejo vedno takoj. Spremembe lahko preizkusite z Googlovim orodjem za preizkušanje datoteke robots.txt.

Prav tako lahko izbrišete vsebino predloge in jo nadomestite s pravili v obliki navadnega besedila. To odsvetujemo, saj pravila lahko postanejo zastarela. Če izberete ta način, Shopify ne more zagotoviti, da bodo sčasoma v vaši datoteki robots.txt uporabljene najboljše prakse za SEO, ali dodati sprememb v datoteko s prihodnjimi posodobitvami.

Razumevanje sporočil »Indeksirano, vendar blokirano«

V Google Search Console so lahko URL-naslovi prikazani kot »indeksirano, vendar blokirano z robots.txt«. To je običajno delovanje in praviloma ni razlog za skrb.

Zakaj do tega pride

Mnoge strani so namerno blokirane z datoteko robots.txt zaradi optimizacije SEO. S tem sporočilom vas Google obvesti, da je odkril blokirano vsebino, v primeru, da je bilo blokiranje nenamerno. Vse v Shopifyjevi privzeti datoteki robots.txt je tam z razlogom, in sicer za pomoč pri SEO-ju.

Če je običajna stran na vaši spletni strani (na primer domača stran) prikazana kot »Indeksirano, vendar blokirano«, to običajno pomeni, da so Googlovi podatki o vaši trgovini zastareli. Google lahko potrebuje več dni, tednov ali celo mesecev, da posodobi svojo zbirko podatkov z najnovejšimi spremembami katere koli spletne strani.

Kaj storiti

V večini primerov ukrepanje ni potrebno. To je pričakovano delovanje za strani, ki ne bi smele biti pregledane, vendar so vseeno lahko indeksirane prek drugih metod odkrivanja.

Nadzor dostopa za pajke z umetno inteligenco

Če prodajate prek agentnih spletnih trgovin, kot sta ChatGPT ali Microsoft Copilot, se vaši podatki o izdelkih v te kanale posredujejo prek storitve Shopify Catalog, neodvisno od datoteke /robots.txt. Pajki z umetno inteligenco lahko do vaše trgovine dostopajo tudi neposredno prek odprtega spleta. Dostop pajkov vključuje naslednji dve ravni nadzora:

Omrežna plast: upravljanje botov za trgovine v storitvi Shopify poteka neposredno, zato vam ni treba storiti ničesar. Shopify ne priporoča konfiguracije posredniškega strežnika pred storitvijo Shopify in za to tudi ne nudi podpore.
Raven /robots.txt: Določene pajke uporabniških agentov lahko dovolite ali blokirate s prilagoditvijo predloge robots.txt.liquid za svojo trgovino. Pravila, ki jih nastavite v datoteki /robots.txt, so usmerjevalna in priporočilna, zato ni zagotovljeno, da jih bodo upoštevali vsi pajki.

Blokiranje pajkov z umetno inteligenco v datoteki /robots.txt ali na omrežni plasti vpliva samo na najdljivost v odprtem spletu. To ne prepreči, da bi Shopify Catalog pošiljal podatke o vaših izdelkih v agentske spletne trgovine, ki ste jih aktivirali. Če želite nadzorovati, kaj Shopify Catalog deli z agentskimi spletnimi trgovinami, preberite Razumevanje nastavitev agentskih spletnih trgovin.

Razumevanje privzete datoteke robots.txt v Shopifyju

Privzeta datoteka robots.txt v Shopifyju vključuje specifična pravila za optimizacijo SEO vaše trgovine. Tukaj je opisano, kaj naredijo nekateri ključni vnosi:

Disallow: /admin - prepreči pregledovanje skrbniških strani, saj boti do njih tako ali tako ne morejo dostopati
Disallow: /cart - strani košarice ni treba indeksirati, ker so za vsako stranko edinstvene
Disallow: /checkout - strani za plačilo ni treba pregledati ali indeksirati
Disallow: /collections/*+* - preprečuje indeksiranje filtriranih zbirk strani, kar bi lahko povzročilo težave s podvojeno vsebino
Disallow: /search - strani z rezultati iskanja ni treba pregledovati
Disallow: /policies/ - samodejno ustvarjene strani s pravilniki so si v različnih trgovinah podobne in jih ni treba indeksirati

Ta pravila pomagajo spletnim iskalnikom, da se osredotočijo na vašo edinstveno in dragoceno vsebino, ne pa na skrbniške ali podvojene strani.

Izbris prilagoditev datoteke robots.txt.liquid

Če želite znova uporabiti privzeto datoteko robots.txt, lahko izbrišete prilagojeno datoteko robots.txt.liquid.

Koraki:

V skrbniku Shopify pojdite v Spletna trgovina > Teme.
Kliknite > Uredi kodo.
Z desno tipko miške kliknite datoteko robots.txt.liquid in v spustnem meniju izberite Trajno izbriši.
Kliknite Izbriši.

Datoteko robots.txt.liquid lahko kadar koli v prihodnosti uredite. Če pa ste pretekle prilagoditve shranili, lahko spremembe znova uveljavite tako, da kopirate shranjene prejšnje prilagoditve.