`robots.txt.liquid` dosyasını düzenleme

Google gibi arama motorları, arama sonuçları için kaynak olarak yeni veriler bulmak amacıyla interneti sürekli olarak tarar. robots.txt dosyası, tarayıcı olarak bilinen arama motoru botlarına, online mağazanızdan hangi sayfaları görüntülemeyi talep edeceklerini bildirir. Tüm Shopify mağazalarında, Arama Motoru Optimizasyonu (SEO) için ideal olan, varsayılan bir robots.txt dosyası bulunur.

Site haritanız, online mağazanızın arama motoru sonuçlarında yer alması için arama motorları tarafından kullanılır. Site haritanızı nasıl bulacağınızı ve göndereceğinizi öğrenin.

Bu sayfada

Tarama ile dizine ekleme arasındaki farkı anlama

robots.txt ile çalışırken tarama ve dizine ekleme arasındaki farkı anlamak önemlidir:

Tarama: Arama motoru botlarının (Googlebot gibi) sayfalarınızdaki tüm içeriği ve kodu inceleyip analiz etmesi.
Dizine ekleme: Sayfaların arama motoru sonuçlarında görünmeye uygun hale gelmesi.

Bu işlemler birbirini dışlamaz. Arama motorları, bir sayfayı başka yollarla keşfederse taramadan da dizine ekleyebilir.

Dikkat edilmesi gerekenler

Varsayılan robots.txt dosyası çoğu mağaza için uygundur. robots.txt dosyasını özelleştirmek istiyorsanız önce kod düzenleyicideki temanızın şablonlar klasörüne bir robots.txt.liquid dosyası eklemeniz ve ardından dosyanın içeriğini özelleştirmeniz gerekir. Aşağıdaki düzenlemeleri yapabilirsiniz:

Belirli URL'lerin taranmasına izin verme veya taranmasını engelleme.
Belirli tarayıcılar için tarama gecikmesi kuralları ekleme.
Ek site haritası URL'leri ekleme.
Belirli tarayıcıları engelleme.

robots.txt dosyası, Shopify mağazanızın birincil alan adının kök dizininde bulunur. Örneğin: example.com/robots.txt.

Robots.txt.liquid dosyasını düzenleme

robots.txt.liquid dosyasını düzenlemek istiyorsanız bir Shopify İş Ortağı ile çalışmalı veya kod düzenlemeleri ile SEO konusunda uzman olmalısınız.

robots.txt.liquid şablonuna yönerge eklemek veya şablondan yönerge kaldırmak için Liquid'i kullanabilirsiniz. Bu yöntem, Shopify'ın dosyayı gelecekte otomatik olarak güncel tutmasını sağlar ve önerilen yöntemdir. Bu dosyayı düzenlemeye ilişkin tam bir kılavuz için Shopify'ın Geliştirici sayfasındaki Robots.txt.liquid dosyasını özelleştirme bölümüne bakın.

robots.txt.liquid dosyasını düzenlemeden önce, Cloudflare gibi bir üçüncü taraf hizmeti kullanma dahil olmak üzere önceki tüm kişiselleştirmeleri veya geçici çözümleri kaldırın.

Adımlar:

Shopify yöneticinizde Çevrimiçi Mağaza > Temalar bölümüne gidin.
İlgili tema için … > Kodu düzenle'ye tıklayın.
Yeni şablon ekle'ye tıklayın ve ardından robots'u seçin.
Şablon oluştur'a tıklayın.
Varsayılan şablonda istediğiniz değişiklikleri yapın. Liquid değişkenleri ve yaygın kullanım senaryoları hakkında daha fazla bilgi için Shopify'ın Geliştirici sayfasındaki Robots.txt.liquid dosyasını özelleştirme bölümüne bakın.
Yayınlanan temanızdaki robots.txt.liquid dosyasındaki değişiklikleri kaydedin.

Değişiklikler anında uygulanır ancak tarayıcılar her zaman hemen tepki vermez. Değişiklikleri, Google'ın robots.txt Test Aracı'nı kullanarak test edebilirsiniz.

Ayrıca şablonun içeriğini silebilir ve bunu düz metin kurallarıyla değiştirebilirsiniz. Kurallar güncelliğini yitirebileceğinden bu yöntem kesinlikle önerilmez. Bu yöntemi seçerseniz Shopify, zaman içinde robots.txt dosyanıza SEO için en iyi uygulamaların uygulanmasını veya gelecekteki güncellemelerle dosyada değişiklikler yapılmasını garanti edemez.

"Dizine eklendi ancak engellendi" mesajlarını anlama

Google Search Console'da URL'ler "robots.txt tarafından engellenmesine rağmen dizine eklendi" olarak görüntülenebilir. Bu normal bir durumdur ve genellikle endişe nedeni değildir.

Bunun nedeni

SEO optimizasyonu için birçok sayfa, robots.txt tarafından kasıtlı olarak engellenir. Bu mesaj, engellemenin kasıtsız olması ihtimaline karşı, Google'ın engellenen içeriği keşfettiğini size bildirme yöntemidir. Shopify'ın varsayılan robots.txt dosyasındaki her şeyin SEO'nuza yardımcı olacak bir nedeni vardır.

Sitenizdeki normal bir sayfa (ana sayfanız gibi) "Dizine eklendi ancak engellendi" olarak görüntüleniyorsa bu genellikle Google'ın mağazanızla ilgili verilerinin güncel olmadığı anlamına gelir. Google'ın veritabanını herhangi bir web sitesindeki en son değişikliklerle güncellemesi günler, haftalar veya aylar sürebilir.

Yapılması gerekenler

Çoğu durumda herhangi bir işlem yapılması gerekmez. Bu, taranması engellenmesi gereken ancak diğer keşif yöntemleriyle yine de dizine eklenebilecek sayfalar için beklenen bir davranıştır.

Yapay zeka tarayıcısı erişimini kontrol etme

ChatGPT veya Microsoft Copilot gibi aracı dijital vitrinler üzerinden satış yapıyorsanız ürün verileriniz, /robots.txt dosyasından bağımsız olarak Shopify Catalog aracılığıyla söz konusu kanallara aktarılır. Yapay zeka tarayıcıları açık web üzerinden mağazanıza doğrudan da erişebilir. Tarayıcı erişimi aşağıdaki iki kontrol katmanına sahiptir:

Ağ katmanı: Shopify'daki mağazalar için bot yönetimi doğrudan gerçekleştirilir ve herhangi bir işlem yapmanız gerekmez. Shopify, Shopify'ın önünde bir proxy yapılandırması önermez ve bunun için destek de sağlayamaz.
/robots.txt katmanı: Mağazanızın robots.txt.liquid şablonunu kişiselleştirerek belirli kullanıcı aracısı tarayıcılarına izin verebilir veya bunları engelleyebilirsiniz. /robots.txt dosyanızda ayarladığınız kurallar yönlendirici ve tavsiye niteliğindedir; tüm tarayıcıların bunlara uyması garanti edilmez.

Yapay zeka tarayıcılarını /robots.txt veya ağ katmanında engellemek yalnızca açık web bulunabilirliğini etkiler. Ürün verilerinizin Shopify Catalog tarafından etkinleştirdiğiniz aracı dijital vitrinlere gönderilmesini engellemez. Shopify Catalog'un aracı dijital vitrinlerle neleri paylaşacağını kontrol etmek için Aracı dijital vitrin ayarlarınızı anlama bölümüne bakın.

Shopify'ın varsayılan robots.txt dosyasını anlama

Shopify'ın varsayılan robots.txt dosyası, mağazanızın SEO'sunu optimize etmek için belirli kurallar içerir. Bazı önemli girdilerin işlevleri şunlardır:

Disallow: /admin - Botlar zaten erişemediği için yönetici sayfalarının taranmasını engeller
Disallow: /cart - Her müşteriye özgü olduğundan sepet sayfalarının dizine eklenmesi gerekmez
Disallow: /checkout - Ödeme sayfalarının taranması veya dizine eklenmesi gerekmez
Disallow: /collections/*+* - Yinelenen içerik sorunları yaratabilecek filtrelenmiş koleksiyon sayfalarının dizine eklenmesini önler
Disallow: /search - Arama sonucu sayfalarının taranması gerekmez
Disallow: /policies/ - Otomatik olarak oluşturulan politika sayfaları tüm mağazalarda benzerdir ve dizine eklenmeleri gerekmez

Bu kurallar, arama motorlarının yönetimsel veya yinelenen sayfalar yerine benzersiz ve değerli içeriğinize odaklanmasına yardımcı olur.

Robots.txt.liquid kişiselleştirmelerini silme

Varsayılan robots.txt dosyasını yeniden kullanmak isterseniz özel robots.txt.liquid dosyanızı silebilirsiniz.

Adımlar:

Shopify yöneticinizde Çevrimiçi Mağaza > Temalar bölümüne gidin.
> Kodu düzenle'ye tıklayın.
robots.txt.liquid dosyasına sağ tıklayın ve açılır menüden Kalıcı olarak sil'i seçin.
Sil'e tıklayın.

Gelecekte istediğiniz zaman robots.txt.liquid dosyasını düzenleyebilirsiniz. Geçmiş kişiselleştirmelerinizi kaydettiyseniz bunları kopyalayarak değişikliklerinizi yeniden yapabilirsiniz.