A robots.txt.liquid szerkesztése

A keresőmotorok, például a Google, folyamatosan bejárják az internetet új adatok után kutatva a keresési eredményeikhez. A robots.txt fájl megadja a keresőmotorrobotoknak, más néven feltérképezőknek, hogy mely oldalakat kérjék le megtekintésre az online áruházból. Minden Shopify-üzlet rendelkezik egy alapértelmezett robots.txt fájllal, amely optimális a keresőmotor-optimalizáláshoz (SEO).

A webhelytérképet a keresőmotorok arra használják, hogy elhelyezzék az online áruházát a keresőmotorok találati listáján. Ismerje meg, hogyan találhatja meg és küldheti be a webhelytérképet.

Ezen az oldalon

A bejárás és az indexelés közötti különbség megértése

A robots.txt fájllal való munka során fontos megérteni a különbséget a bejárás és az indexelés között:

Bejárás: Amikor a keresőmotorrobotok (például a Googlebot) megvizsgálják az oldalakon található összes tartalmat és kódot, és elemzik azokat.
Indexelés: Amikor az oldalak jogosulttá válnak a keresőmotorok találati listáján való megjelenésre.

Ezek a folyamatok nem zárják ki egymást – a keresőmotorok bejárás nélkül is indexelhetnek egy oldalt, ha más módon találják meg.

Megfontolandó szempontok

Az alapértelmezett robots.txt fájl a legtöbb üzlet esetében megfelelő. Ha testre szeretné szabni a robots.txt fájlt, akkor először hozzá kell adnia egy robots.txt.liquid fájlt a téma templates mappájához a kódszerkesztőben, majd testre kell szabnia a fájl tartalmát. A következő szerkesztéseket végezheti el:

Bizonyos URL-ek feltérképezésének engedélyezése vagy letiltása.
Feltérképezési késleltetési (crawl-delay) szabályok hozzáadása bizonyos feltérképező robotokhoz.
További webhelytérkép-URL-ek hozzáadása.
Bizonyos feltérképező robotok letiltása.

A robots.txt fájl a Shopify-üzlete elsődleges tartományának gyökérkönyvtárában található. Például: example.com/robots.txt.

A robots.txt.liquid szerkesztése

Ha szerkeszteni szeretné a robots.txt.liquid fájlt, akkor javasolt egy Shopify Partnerrel együttműködnie, vagy szakértelemmel kell rendelkeznie a kódszerkesztés és a keresőoptimalizálás terén.

A Liquid segítségével direktívákat adhat hozzá a robots.txt.liquid sablonhoz, illetve távolíthat el belőle. Ezzel a módszerrel a Shopify a jövőben is automatikusan tudja frissíteni a fájlt, ezért ez az ajánlott eljárás. A fájl szerkesztésével kapcsolatos teljes útmutatóért tekintse meg a Shopify fejlesztői oldalán található Customize robots.txt.liquid című részt.

A robots.txt.liquid fájl szerkesztése előtt távolítson el minden korábbi testreszabást vagy kerülő megoldást, például a harmadik féltől származó szolgáltatások, mint a Cloudflare, használatát.

Lépések:

A Shopify adminisztrációs felületén lépjen a Webáruház > Témák menüpontba.
A megfelelő témánál kattintson a … > Kód szerkesztése gombra.
Kattintson az Új sablon hozzáadása gombra, majd válassza ki a robotok lehetőséget.
Kattintson a Sablon létrehozása gombra.
Végezze el a kívánt módosításokat az alapértelmezett sablonon. A Liquid-változókkal és a gyakori használati esetekkel kapcsolatos további információkért tekintse meg a Shopify fejlesztői oldalán a robots.txt.liquid testreszabása című részt.
Mentse a módosításokat a közzétett témájában lévő robots.txt.liquid fájlban.

A módosítások azonnaliak, de a feltérképező robotok nem mindig reagálnak azonnal. A módosításokat a Google robots.txt-tesztelőjével ellenőrizheti.

Lehetősége van arra is, hogy törölje a sablon tartalmát, és egyszerű szöveges szabályokkal helyettesítse. Ez a módszer kifejezetten nem ajánlott, mivel a szabályok elavulhatnak. Ha ezt a módszert választja, a Shopify nem tudja biztosítani, hogy a keresőoptimalizálás helyes gyakorlatai idővel alkalmazva legyenek a robots.txt fájlra, illetve hogy a jövőbeli frissítésekkel módosításokat hajtson végre a fájlon.

Az „Indexelve, de letiltva” üzenetek értelmezése

A Google Search Console-ban az URL-ek „indexelve, de a robots.txt által letiltva” állapotban jelenhetnek meg. Ez normális viselkedés, és általában nem ad okot aggodalomra.

Miért történik ez

Sok oldalt szándékosan letilt a robots.txt a keresőoptimalizálás érdekében. Ezzel az üzenettel a Google tudatja Önnel, hogy letiltott tartalmat talált, arra az esetre, ha a letiltás nem volt szándékos. A Shopify alapértelmezett robots.txt fájljában minden okkal szerepel, hogy segítse az Ön keresőoptimalizálását.

Ha egy normál oldal a webhelyén (például a kezdőoldal) „Indexelve, de letiltva” állapotban jelenik meg, az általában azt jelenti, hogy a Google adatai az Ön üzletéről elavultak. Napokba, hetekbe vagy akár hónapokba is telhet, mire a Google frissíti az adatbázisát bármely webhely legújabb módosításaival.

Mi a teendő

A legtöbb esetben nincs szükség beavatkozásra. Ez a várt viselkedés azon oldalak esetében, amelyeket le kell tiltani a feltérképezés elől, de más felfedezési módszerekkel mégis indexelhetők.

Az MI-feltérképezők hozzáférésének szabályozása

Ha ügynökalapú kirakatokon, például a ChatGPT-n vagy a Microsoft Copiloton keresztül értékesít, akkor a rendszer a termékadatokat a /robots.txt fájltól függetlenül, a Shopify Catalog segítségével továbbítja ezekbe a csatornákba. Az MI-feltérképezők a nyílt weben keresztül közvetlenül is hozzáférhetnek az üzlethez. A feltérképezők hozzáférésének szabályozása a következő két réteggel rendelkezik:

Hálózati réteg: A robotok kezelése a Shopify-on működő üzletek esetében közvetlenül történik, így Önnek semmilyen teendője nincs. A Shopify nem javasolja proxykonfiguráció használatát a Shopify előtt, és ehhez támogatást sem tud nyújtani.
/robots.txt réteg: Az üzlet robots.txt.liquid sablonjának testreszabásával engedélyezhet vagy letilthat bizonyos felhasználóiügynök-feltérképezőket. A /robots.txt fájlban beállított szabályok irányadóak és javaslatjellegűek, és nem garantált, hogy minden feltérképező követi azokat.

Az MI-feltérképező robotok blokkolása a /robots.txt fájlban vagy a hálózati rétegen csak a nyílt weben történő felfedezhetőséget befolyásolja. Ez nem akadályozza meg, hogy a Shopify Catalog elküldje a termékadatokat az Ön által aktivált ágensalapú kirakatoknak. Annak szabályozásához, hogy a Shopify Catalog mit osszon meg az ágensalapú kirakatokkal, tekintse meg az Ágensalapú kirakatok beállításainak megismerése című részt.

A Shopify alapértelmezett robots.txt fájljának értelmezése

A Shopify alapértelmezett robots.txt fájlja konkrét szabályokat tartalmaz az üzlet keresőoptimalizálásának optimalizálására. Íme, mit csinálnak a legfontosabb bejegyzések:

Disallow: /admin – Megakadályozza az adminisztrációs oldalak feltérképezését, mivel a robotok egyébként sem férhetnek hozzájuk.
Disallow: /cart – A kosároldalakat nem szükséges indexelni, mert minden vásárló számára egyediek.
Disallow: /checkout – A pénztároldalakat nem kell feltérképezni vagy indexelni.
Disallow: /collections/*+* – Megakadályozza a szűrt kollekcióoldalak indexelését, ami duplikált tartalmi problémákat okozhatna.
Disallow: /search – A keresési találati oldalakat nem kell feltérképezni.
Disallow: /policies/ – Az automatikusan generált szabályzati oldalak hasonlóak az üzletek között, és nem igényelnek indexelést.

Ezek a szabályok segítenek a keresőmotoroknak az egyedi, értékes tartalomra összpontosítani az adminisztratív vagy duplikált oldalak helyett.

A robots.txt.liquid testreszabásainak törlése

Ha újra az alapértelmezett robots.txt fájlt szeretné használni, akkor törölheti az egyéni robots.txt.liquid fájlt.

Lépések:

A Shopify adminisztrációs felületén lépjen a Webáruház > Témák menüpontba.
Kattintson a > Kód szerkesztése gombra.
Kattintson a jobb egérgombbal a robots.txt.liquid fájlra, és válassza a Végleges törlés lehetőséget a legördülő menüből.
Kattintson a Törlés gombra.

A robots.txt.liquid fájlt a jövőben bármikor szerkesztheti, vagy ha elmentette a korábbi testreszabásait, akkor a mentett verzió bemásolásával visszaállíthatja a módosításokat.