Mengedit robots.txt.liquid

Mesin pencari, seperti Google, terus-menerus melakukan crawl di internet untuk mencari data baru sebagai sumber hasil pencarian mereka. File robots.txt memberi tahu bot mesin pencari, yang dikenal sebagai crawler, halaman mana yang akan diminta untuk dilihat dari toko online Anda. Semua toko Shopify memiliki file robots.txt default yang optimal untuk Optimasi Mesin Pencari (SEO).

Peta situs Anda digunakan oleh mesin pencari untuk menempatkan toko online Anda di hasil mesin pencari. Pelajari cara menemukan dan mengirimkan peta situs Anda.

Di halaman ini

Memahami crawl vs. pengindeksan

Saat bekerja dengan robots.txt, penting untuk memahami perbedaan antara crawling dan pengindeksan:

Crawling: Saat bot mesin pencari (seperti Googlebot) memeriksa semua konten dan kode di halaman Anda dan menganalisisnya
Pengindeksan: Saat halaman menjadi memenuhi syarat untuk muncul di hasil mesin pencari

Proses ini tidak saling eksklusif - mesin pencari dapat mengindeks halaman tanpa melakukan crawl jika menemukannya melalui cara lain.

Pertimbangan

File robots.txt default berfungsi untuk sebagian besar toko. Jika Anda ingin menyesuaikan file robots.txt, Anda harus menambahkan file robots.txt.liquid ke folder templates pada tema Anda di editor kode terlebih dahulu, lalu menyesuaikan konten file tersebut. Anda dapat membuat editan berikut:

Izinkan atau larang URL tertentu untuk di-crawl.
Tambahkan aturan penundaan crawl untuk crawler tertentu.
Tambahkan URL peta situs tambahan.
Blokir crawler tertentu.

File robots.txt berada di direktori root nama domain utama toko Shopify Anda. Contohnya: example.com/robots.txt.

Mengedit robots.txt.liquid

Jika ingin mengedit file robots.txt.liquid , Anda sebaiknya bekerja sama dengan Mitra Shopify atau memiliki keahlian dalam pengeditan kode dan SEO.

Anda dapat menggunakan Liquid untuk menambahkan atau menghapus arahan dari templat robots.txt.liquid. Metode ini menjaga kemampuan Shopify untuk terus memperbarui file secara otomatis di masa mendatang, dan direkomendasikan. Untuk panduan lengkap tentang mengedit file ini, lihat halaman Pengembang Shopify Menyesuaikan robots.txt.liquid.

Hapus semua kustomisasi atau solusi sementara sebelumnya, seperti menggunakan layanan pihak ketiga seperti Cloudflare, sebelum Anda mengedit file robots.txt.liquid .

Langkah-langkah:

Dari admin Shopify Anda, buka Toko Online > Tema.
Untuk tema yang relevan, klik … > Edit kode.
Klik Tambahkan templat baru, lalu pilih robots.
Klik Buat templat.
Buat perubahan yang ingin Anda buat pada templat default. Untuk informasi selengkapnya tentang variabel liquid dan kasus penggunaan umum, lihat halaman Pengembang Shopify Menyesuaikan robots.txt.liquid.
Simpan perubahan pada file robots.txt.liquid di tema yang diterbitkan.

Perubahan terjadi secara instan, tetapi crawler tidak selalu bereaksi dengan segera. Anda dapat menguji perubahan menggunakan Penguji robots.txt Google.

Anda juga dapat menghapus isi templat dan menggantinya dengan aturan teks biasa. Metode ini sangat tidak direkomendasikan karena aturannya mungkin akan usang. Jika Anda memilih metode ini, Shopify tidak dapat memastikan bahwa praktik terbaik SEO diterapkan pada robots.txt Anda seiring waktu, atau membuat perubahan pada file dengan pembaruan di masa mendatang.

Memahami pesan "Diindeks, meskipun diblokir"

Di Google Search Console, URL mungkin ditampilkan sebagai "diindeks, meskipun diblokir oleh robots.txt". Ini adalah perilaku normal dan biasanya tidak perlu dikhawatirkan.

Penyebabnya

Banyak halaman sengaja diblokir oleh robots.txt untuk optimasi SEO. Pesan ini adalah cara Google untuk memberi tahu Anda bahwa mereka telah menemukan konten yang diblokir, jika pemblokiran tersebut tidak disengaja. Semua yang ada di file robots.txt default Shopify ada karena suatu alasan untuk membantu SEO Anda.

Jika halaman normal di situs Anda (seperti beranda) ditampilkan sebagai "Diindeks, meskipun diblokir," biasanya itu berarti data Google tentang toko Anda sudah usang. Google bisa memerlukan waktu berhari-hari, berminggu-minggu, atau berbulan-bulan untuk memperbarui basis datanya dengan perubahan terbaru pada situs web mana pun.

Yang harus dilakukan

Pada umumnya, tidak ada tindakan yang diperlukan. Ini adalah perilaku yang wajar untuk halaman yang seharusnya diblokir dari crawling tetapi mungkin masih diindeks melalui metode penemuan lain.

Mengontrol akses crawler AI

Jika Anda menjual melalui etalase toko online berbasis agen seperti ChatGPT atau Microsoft Copilot, data produk Anda disindikasikan ke saluran tersebut melalui Shopify Catalog, terlepas dari /robots.txt. Crawler AI mungkin juga mengakses toko Anda secara langsung melalui web terbuka. Akses crawler memiliki dua lapisan kontrol berikut:

Lapisan jaringan: Manajemen bot ditangani secara langsung untuk toko di Shopify, dan Anda tidak perlu melakukan tindakan apa pun. Shopify tidak menyarankan konfigurasi proksi di depan Shopify, dan juga tidak dapat memberikan dukungan untuk hal ini.
Lapisan /robots.txt: Anda dapat mengizinkan atau memblokir crawler user-agent tertentu dengan menyesuaikan templat robots.txt.liquid toko Anda. Aturan yang Anda tetapkan dalam file /robots.txt bersifat terarah dan hanya sebagai saran, serta tidak semua crawler dijamin akan mengikutinya.

Memblokir perayap AI pada /robots.txt atau lapisan jaringan hanya memengaruhi kemudahan ditemukan di web terbuka. Hal ini tidak mencegah data produk Anda dikirim oleh Shopify Catalog ke etalase toko online agensial yang telah Anda aktifkan. Untuk mengontrol hal yang dibagikan Shopify Catalog dengan etalase toko online agensial, lihat Memahami pengaturan etalase toko online agensial Anda.

Memahami robots.txt default Shopify

File robots.txt default Shopify menyertakan aturan khusus untuk mengoptimalkan SEO toko Anda. Inilah fungsi beberapa entri utama:

Disallow: /admin - Mencegah halaman admin di-crawl karena bot tidak dapat mengaksesnya
Disallow: /cart - Halaman keranjang tidak perlu diindeks karena bersifat unik untuk setiap pelanggan
Disallow: /checkout - Halaman checkout tidak perlu di-crawl atau diindeks
Disallow: /collections/*+* - Mencegah halaman koleksi yang difilter agar tidak diindeks, yang dapat menimbulkan masalah konten duplikat
Disallow: /search - Halaman hasil pencarian tidak perlu di-crawl
Disallow: /policies/ - Halaman kebijakan yang dibuat secara otomatis serupa di semua toko dan tidak memerlukan pengindeksan

Aturan ini membantu mesin pencari fokus pada konten Anda yang unik dan berharga daripada halaman administratif atau duplikat.

Menghapus kustomisasi robots.txt.liquid

Jika Anda ingin menggunakan file robots.txt default lagi, Anda dapat menghapus file robots.txt.liquid kustom Anda.

Langkah-langkah:

Dari admin Shopify Anda, buka Toko Online > Tema.
Klik > Edit kode.
Klik kanan robots.txt.liquid, lalu pilih Hapus secara permanen dari menu tarik-turun.
Klik Hapus.

Anda selalu dapat mengedit file robots.txt.liquid di masa mendatang, atau jika Anda menyimpan kustomisasi sebelumnya, Anda dapat menerapkan kembali perubahan dengan menyalin kustomisasi yang telah disimpan sebelumnya.