Failo robots.txt.liquid redagavimas

Paieškos sistemos, pavyzdžiui, „Google“, nuolat nuskaito internetą ieškodamos naujų duomenų paieškos rezultatams. Failas robots.txt nurodo paieškos sistemų botams (vadinamiesiems tikrintuvams), kuriuos Jūsų internetinės parduotuvės puslapius prašyti peržiūrėti. Visose „Shopify“ parduotuvėse yra numatytasis failas robots.txt, optimalus paieškos sistemų optimizavimui (SEO).

Paieškos sistemos naudoja Jūsų svetainės schemą, kad įtrauktų Jūsų internetinę parduotuvę į paieškos rezultatus. Sužinokite, kaip rasti ir pateikti savo svetainės schemą.

Šiame puslapyje

Nuskaitymo ir indeksavimo palyginimas

Dirbant su robots.txt svarbu suprasti skirtumą tarp nuskaitymo ir indeksavimo:

Nuskaitymas: kai paieškos sistemų botai (pvz., „Googlebot“) tikrina ir analizuoja visą jūsų puslapių turinį ir kodą.
Indeksavimas: kai puslapiai gali būti rodomi paieškos sistemos rezultatuose.

Šie procesai vienas kito neatmeta – paieškos sistemos gali indeksuoti puslapį jo nenuskaitydamos, jei atranda jį kitais būdais.

Svarbūs aspektai

Numatytasis failas robots.txt tinka daugumai parduotuvių. Jei norite tinkinti failą robots.txt, pirmiausia turite įtraukti failą robots.txt.liquid į savo temos aplanką „templates“ kodo rengyklėje, o tada tinkinti failo turinį. Galite atlikti šiuos pakeitimus:

Leisti arba neleisti tikrinti tam tikrų URL.
Pridėti tikrinimo delsos taisykles tam tikriems tikrintuvams.
Pridėti papildomų svetainės schemos URL.
Blokuoti tam tikrus tikrintuvus.

Failas robots.txt yra Jūsų „Shopify“ parduotuvės pagrindinio domeno šakniniame kataloge. Pavyzdžiui: example.com/robots.txt.

Failo robots.txt.liquid redagavimas

Jei norite redaguoti failą robots.txt.liquid, turėtumėte dirbti su „Shopify“ partneriu arba turėti kodo redagavimo ir SEO patirties.

Galite naudoti „Liquid“, kad pridėtumėte arba pašalintumėte direktyvas iš robots.txt.liquid šablono. Šis metodas išsaugo „Shopify“ galimybę ateityje automatiškai atnaujinti failą ir yra rekomenduojamas. Išsamų vadovą, kaip redaguoti šį failą, rasite „Shopify“ kūrėjų puslapyje „Robots.txt.liquid“ tinkinimas.

Prieš redaguodami failą robots.txt.liquid, pašalinkite visus ankstesnius pritaikymus arba aplinkinius sprendimus, pavyzdžiui, trečiosios šalies paslaugos, tokios kaip „Cloudflare“, naudojimą.

Veiksmai:

Savo „Shopify“ administratoriaus skydelyje eikite į Internetinė parduotuvė > Temos.
Prie atitinkamos temos spustelėkite … > Redaguoti kodą.
Spustelėkite Pridėti naują šabloną, tada pasirinkite robotai.
Spustelėkite Sukurti šabloną.
Atlikite norimus numatytojo šablono pakeitimus. Daugiau informacijos apie „Liquid“ kintamuosius ir įprastus naudojimo atvejus rasite „Shopify“ kūrėjų puslapyje „Robots.txt.liquid“ tinkinimas.
Išsaugokite robots.txt.liquid failo pakeitimus savo paskelbtoje temoje.

Pakeitimai įsigalioja iš karto, tačiau tikrintuvai ne visada reaguoja nedelsiant. Pakeitimus galite išbandyti naudodami „Google“ robots.txt testuoklį.

Taip pat galite ištrinti šablono turinį ir pakeisti jį paprasto teksto taisyklėmis. Šio metodo primygtinai nerekomenduojame, nes taisyklės gali pasenti. Jei pasirinksite šį metodą, „Shopify“ negalės užtikrinti, kad Jūsų robots.txt faile laikui bėgant būtų taikoma geriausia SEO praktika, arba atlikti failo pakeitimų su būsimais atnaujinimais.

Pranešimų „Indeksuota, bet užblokuota“ supratimas

„Google Search Console“ įrankyje URL gali būti rodomi kaip „indeksuoti, nors užblokuoti naudojant robots.txt“. Tai yra normalu ir paprastai nekelia susirūpinimo.

Kodėl taip nutinka

Daugelis puslapių yra sąmoningai blokuojami naudojant robots.txt siekiant optimizuoti SEO. Šiuo pranešimu „Google“ Jus informuoja, kad aptiko užblokuotą turinį, jei blokavimas buvo netyčinis. Viskas, kas yra numatytajame „Shopify“ robots.txt faile, yra skirta padėti Jūsų SEO.

Jei įprastas Jūsų svetainės puslapis (pvz., pagrindinis puslapis) rodomas kaip „Indeksuota, bet užblokuota“, tai paprastai reiškia, kad „Google“ duomenys apie Jūsų parduotuvę yra pasenę. „Google“ gali prireikti dienų, savaičių ar mėnesių, kad atnaujintų savo duomenų bazę naujausiais bet kurios svetainės pakeitimais.

Ką daryti

Daugeliu atvejų jokių veiksmų imtis nereikia. Tai yra numatytas elgesys puslapiams, kurių tikrinimas turėtų būti blokuojamas, tačiau kurie vis tiek gali būti indeksuojami kitais aptikimo būdais.

DI tikrintuvų prieigos valdymas

Jei parduodate per agentines vitrinas, tokias kaip „ChatGPT“ ar „Microsoft Copilot“, jūsų produktų duomenys perduodami į šiuos kanalus per Shopify Catalog, nepriklausomai nuo /robots.txt. DI tikrintuvai taip pat gali pasiekti jūsų parduotuvę tiesiogiai per atvirąjį internetą. Tikrintuvų prieigai taikomi šie du valdymo lygmenys:

Tinklo lygmuo: „Shopify“ parduotuvėms botų valdymas atliekamas tiesiogiai, todėl Jums nereikia imtis jokių veiksmų. „Shopify“ nerekomenduoja naudoti tarpinio serverio konfigūracijos prieš „Shopify“ ir neteikia tam pagalbos.
/robots.txt lygmuo: galite leisti arba blokuoti konkrečius „user-agent“ tikrintuvus tinkindami savo parduotuvės šabloną robots.txt.liquid. Taisyklės, kurias nustatote savo faile /robots.txt, yra nukreipiamosios ir patariamosios, todėl negarantuojama, kad visi tikrintuvai jų laikysis.

DI tikrintuvų blokavimas /robots.txt faile arba tinklo lygmenyje paveikia tik aptinkamumą atvirajame žiniatinklyje. Tai nesustabdo Jūsų produkto duomenų siuntimo iš „Shopify Catalog“ į Jūsų aktyvuotas agentines vitrinas. Norėdami valdyti, kuo „Shopify Catalog“ dalijasi su agentinėmis vitrinomis, žr. Agentinių vitrinų nustatymų supratimas.

Numatytojo „Shopify“ robots.txt failo supratimas

Numatytajame „Shopify“ robots.txt faile yra konkrečių taisyklių, skirtų Jūsų parduotuvės SEO optimizuoti. Štai ką daro kai kurie pagrindiniai įrašai:

Disallow: /admin – neleidžia tikrinti administratoriaus puslapių, nes botai vis tiek negali jų pasiekti
Disallow: /cart – krepšelio puslapių nereikia indeksuoti, nes jie yra unikalūs kiekvienam klientui
Disallow: /checkout – atsiskaitymo puslapių nereikia tikrinti ar indeksuoti
Disallow: /collections/*+* – neleidžia indeksuoti filtruotų kolekcijų puslapių, nes tai gali sukelti pasikartojančio turinio problemų
Disallow: /search – paieškos rezultatų puslapių tikrinti nereikia
Disallow: /policies/ – automatiškai sugeneruoti politikos puslapiai yra panašūs visose parduotuvėse ir jų nereikia indeksuoti

Šios taisyklės padeda paieškos sistemoms sutelkti dėmesį į Jūsų unikalų, vertingą turinį, o ne į administracinius ar pasikartojančius puslapius.

Failo robots.txt.liquid pritaikymų naikinimas

Jei norite vėl naudoti numatytąjį robots.txt failą, galite panaikinti savo tinkintą robots.txt.liquid failą.

Veiksmai:

Savo „Shopify“ administratoriaus skydelyje eikite į Internetinė parduotuvė > Temos.
Spustelėkite > Redaguoti kodą.
Dešiniuoju pelės mygtuku spustelėkite robots.txt.liquid ir išskleidžiamajame meniu pasirinkite Naikinti visam laikui.
Spustelėkite Naikinti.

Ateityje visada galite redaguoti robots.txt.liquid failą arba, jei išsaugojote ankstesnius pritaikymus, galite atkurti pakeitimus nukopijuodami išsaugotus ankstesnius pritaikymus.