Editarea robots.txt.liquid

Motoarele de căutare, precum Google, accesează constant cu crawlere internetul în căutare de date noi ca sursă pentru rezultatele căutărilor lor. Fișierul robots.txt le spune roboților motoarelor de căutare, cunoscuți drept crawlere, ce pagini să solicite pentru vizualizare din magazinul dvs. online. Toate magazinele Shopify au un fișier robots.txt implicit, care este optim pentru optimizarea pentru motoarele de căutare (SEO).

Harta site-ului dvs. este utilizată de motoarele de căutare pentru a plasa magazinul dvs. online în rezultatele motoarelor de căutare. Aflați cum să găsiți și să transmiteți harta site-ului dvs.

Pe această pagină

Înțelegerea accesării cu crawlere vs. indexare

Atunci când lucrați cu robots.txt, este important să înțelegeți diferența dintre accesarea cu crawlere și indexare:

Accesarea cu crawlere: Când roboții motoarelor de căutare (cum ar fi Googlebot) examinează tot conținutul și codul de pe paginile dvs. și le analizează
Indexarea: Când paginile devin eligibile să apară în rezultatele motoarelor de căutare

Aceste procese nu se exclud reciproc - motoarele de căutare pot indexa o pagină fără a o accesa cu crawlere dacă o descoperă prin alte mijloace.

Considerente

Fișierul robots.txt implicit funcționează pentru majoritatea magazinelor. Dacă doriți să personalizați fișierul robots.txt, trebuie mai întâi să adăugați un fișier robots.txt.liquid în folderul templates al temei dvs. în editorul de cod, apoi să personalizați conținutul fișierului. Puteți efectua următoarele editări:

Permiteți sau interziceți parcurgerea anumitor URL-uri de către crawlere.
Adăugați reguli de întârziere a parcurgerii pentru anumite crawlere.
Adăugați URL-uri suplimentare pentru harta site-ului.
Blocați anumite crawlere.

Fișierul robots.txt se află în directorul rădăcină al domeniului principal al magazinului dvs. Shopify. De exemplu: example.com/robots.txt.

Editarea fișierului robots.txt.liquid

Dacă doriți să editați fișierul robots.txt.liquid, atunci ar trebui să colaborați cu un partener Shopify sau să aveți experiență în editarea codului și SEO.

Puteți utiliza Liquid pentru a adăuga sau a elimina directive din șablonul robots.txt.liquid. Această metodă păstrează capacitatea Shopify de a menține fișierul actualizat automat pe viitor și este recomandată. Pentru un ghid complet privind editarea acestui fișier, consultați pagina pentru dezvoltatori Shopify Customize robots.txt.liquid.

Eliminați orice personalizări sau soluții alternative anterioare, cum ar fi utilizarea unui serviciu extern precum Cloudflare, înainte de a edita fișierul robots.txt.liquid.

Pași:

Din panoul de administrare Shopify, accesați Magazin online > Teme.
Pentru tema relevantă, faceți clic pe … > Editare cod.
Faceți clic pe Adăugați un șablon nou, apoi selectați robots.
Faceți clic pe Creare șablon.
Efectuați modificările pe care doriți să le aduceți șablonului implicit. Pentru mai multe informații despre variabilele Liquid și cazurile de utilizare obișnuite, consultați pagina pentru dezvoltatori Shopify Personalizați robots.txt.liquid.
Salvați modificările aduse fișierului robots.txt.liquid din tema dumneavoastră publicată.

Modificările sunt instantanee, dar crawlerele nu reacționează întotdeauna imediat. Puteți testa modificările folosind Testerul robots.txt de la Google.

De asemenea, puteți șterge conținutul șablonului și îl puteți înlocui cu reguli de text simplu. Această metodă nu este deloc recomandată, deoarece regulile pot deveni învechite. Dacă alegeți această metodă, Shopify nu poate garanta că cele mai bune practici SEO sunt aplicate fișierului dvs. robots.txt în timp sau că va aduce modificări fișierului odată cu actualizările viitoare.

Înțelegerea mesajelor de tip „Indexat, deși blocat”

În Google Search Console, este posibil ca URL-urile să fie afișate ca „indexate, deși blocate de robots.txt”. Acesta este un comportament normal și, de obicei, nu reprezintă un motiv de îngrijorare.

De ce se întâmplă acest lucru

Multe pagini sunt blocate intenționat de robots.txt pentru optimizarea SEO. Acest mesaj este modul prin care Google vă informează că a descoperit conținut blocat, în cazul în care blocarea a fost neintenționată. Totul din fișierul robots.txt implicit al Shopify are un motiv bine întemeiat, pentru a vă ajuta cu SEO-ul.

Dacă o pagină normală de pe site-ul dvs. (precum pagina de pornire) se afișează ca „Indexată, deși blocată”, de obicei înseamnă că datele Google despre magazinul dvs. sunt învechite. Poate dura zile, săptămâni sau luni până când Google își actualizează baza de date cu cele mai recente modificări aduse oricărui site web.

Ce trebuie să faceți

În majoritatea cazurilor, nu este necesară nicio acțiune. Acesta este comportamentul așteptat pentru paginile care ar trebui blocate de la parcurgerea cu crawlere, dar care ar putea fi totuși indexate prin alte metode de descoperire.

Controlarea accesului crawlerelor AI

Dacă vindeți prin magazine online bazate pe agenți cum ar fi ChatGPT sau Microsoft Copilot, datele despre produsele dumneavoastră sunt distribuite către respectivele canale prin intermediul Shopify Catalog, independent de /robots.txt. De asemenea, este posibil ca anumite crawlere AI să acceseze magazinul direct prin webul deschis. Accesul crawlerelor prezintă următoarele două niveluri de control:

Nivelul de rețea: Gestionarea roboților este tratată direct pentru magazinele de pe Shopify și nu este necesar să întreprindeți nicio acțiune. Shopify nu recomandă o configurație proxy în fața Shopify și nici nu poate oferi asistență în acest sens.
Nivelul /robots.txt: Puteți permite sau bloca anumiți agenți utilizator de tip crawler personalizând șablonul robots.txt.liquid al magazinului. Regulile pe care le setați în fișierul /robots.txt sunt orientative și cu caracter de recomandare, neexistând nicio garanție că vor fi respectate de toate crawlerele.

Blocarea crawlerelor AI la nivelul /robots.txt sau al rețelei afectează doar facilitatea descoperirii în open-web. Aceasta nu împiedică trimiterea datelor despre produsele dumneavoastră de către Shopify Catalog către magazinele online agentice pe care le-ați activat. Pentru a controla ce partajează Shopify Catalog cu magazinele online agentice, consultați Înțelegerea setărilor pentru magazinele online agentice.

Înțelegerea fișierului robots.txt implicit al Shopify

Fișierul robots.txt implicit al Shopify include reguli specifice pentru a optimiza SEO-ul magazinului dvs. Iată ce fac unele dintre intrările cheie:

Disallow: /admin - Împiedică parcurgerea paginilor de administrare, deoarece roboții oricum nu le pot accesa
Disallow: /cart - Paginile coșului nu trebuie indexate, deoarece sunt unice pentru fiecare client
Disallow: /checkout - Paginile de plată nu trebuie parcurse sau indexate
Disallow: /collections/*+* - Previne indexarea paginilor de colecții filtrate, ceea ce ar putea crea probleme de conținut duplicat
Paginile cu rezultatele căutării nu trebuie parcurse.
Disallow: /policies/ - Paginile de politici generate automat sunt similare în toate magazinele și nu necesită indexare

Aceste reguli ajută motoarele de căutare să se concentreze pe conținutul dvs. unic și valoros, mai degrabă decât pe paginile administrative sau duplicate.

Ștergerea personalizărilor fișierului robots.txt.liquid

Dacă doriți să utilizați din nou fișierul robots.txt implicit, atunci puteți șterge fișierul robots.txt.liquid personalizat.

Pași:

Din panoul de administrare Shopify, accesați Magazin online > Teme.
Faceți clic pe > Editare cod.
Faceți clic dreapta pe robots.txt.liquid și selectați Ștergere permanentă din meniul vertical.
Faceți clic pe Ștergere.

Puteți oricând să editați fișierul robots.txt.liquid în viitor sau, dacă ați salvat personalizările anterioare, puteți reface modificările copiind personalizările anterioare salvate.