robots.txt.liquid 편집

Google과 같은 검색 엔진은 검색 결과의 소스로 새로운 데이터를 찾기 위해 지속적으로 인터넷을 크롤링합니다. robots.txt 파일은 크롤러라고도 하는 검색 엔진 봇에게 온라인 스토어에서 보기 위해 요청할 페이지를 알려줍니다. 모든 Shopify 스토어에는 검색 엔진 최적화(SEO)에 최적화된 기본 robots.txt 파일이 있습니다.

검색 엔진은 사이트 맵을 사용하여 검색 엔진 결과에 온라인 스토어를 배치합니다. 사이트 맵을 찾아 제출하는 방법을 알아보십시오.

이 페이지의 내용

크롤링과 인덱싱의 이해

robots.txt로 작업할 때 크롤링과 인덱싱의 차이점을 이해하는 것이 중요합니다.

크롤링: 검색 엔진 봇(예: Googlebot)이 페이지의 모든 콘텐츠와 코드를 검사하고 분석하는 것
인덱싱: 페이지가 검색 엔진 결과에 표시될 자격을 갖추게 되는 것

이러한 프로세스는 상호 배타적이지 않습니다. 검색 엔진이 다른 방법을 통해 페이지를 발견하면 크롤링하지 않고도 해당 페이지의 색인을 생성할 수 있습니다.

고려 사항

기본 robots.txt 파일은 대부분의 스토어에서 문제없이 작동합니다. robots.txt 파일을 맞춤 설정하려면 먼저 코드 편집기에서 테마의 templates 폴더에 robots.txt.liquid 파일을 추가한 다음 파일의 콘텐츠를 맞춤 설정해야 합니다. 다음과 같이 편집할 수 있습니다.

특정 URL 크롤링 허용 또는 금지
특정 크롤러에 대한 크롤링 지연 규칙 추가
추가 사이트 맵 URL 추가
특정 크롤러 차단

robots.txt 파일은 Shopify 스토어의 기본 도메인 이름 루트 디렉터리에 있습니다. 예: example.com/robots.txt.

robots.txt.liquid 편집

robots.txt.liquid 파일을 편집하려는 경우 Shopify 파트너와 협력하거나 코드 편집 및 SEO에 대한 전문 지식이 있어야 합니다.

Liquid를 사용하여 robots.txt.liquid 템플릿에서 지시문을 추가하거나 제거할 수 있습니다. 이 방법을 사용하면 나중에 Shopify가 파일을 자동으로 업데이트하는 기능이 유지되므로 권장됩니다. 이 파일 편집에 대한 자세한 가이드는 Shopify 개발자 페이지 Customize robots.txt.liquid를 참조하십시오.

robots.txt.liquid 파일을 편집하기 전에 Cloudflare와 같은 타사 서비스를 사용하는 등 이전의 맞춤 설정이나 해결책을 모두 제거하십시오.

단계:

Shopify 관리자에서 온라인 스토어 > 테마로 이동합니다.
해당 테마에서 … > 코드 편집을 클릭합니다.
새 템플릿 추가를 클릭한 다음 robots를 선택합니다.
템플릿 생성을 클릭합니다.
기본 템플릿을 원하는 대로 변경합니다. liquid 변수 및 일반적인 사용 사례에 대한 자세한 내용은 Shopify 개발자 페이지 robots.txt.liquid 맞춤 설정을 참조하십시오.
게시된 테마의 robots.txt.liquid 파일에 변경 사항을 저장합니다.

변경 사항은 즉시 적용되지만 크롤러가 항상 즉시 반응하는 것은 아닙니다. Google의 robots.txt 테스터를 사용하여 변경 사항을 테스트할 수 있습니다.

템플릿 콘텐츠를 삭제하고 일반 텍스트 규칙으로 바꿀 수도 있습니다. 규칙이 오래될 수 있으므로 이 방법은 강력히 권장되지 않습니다. 이 방법을 선택하면 Shopify는 시간이 지나도 robots.txt에 SEO 모범 사례가 적용되도록 보장하거나 향후 업데이트 시 파일을 변경할 수 없습니다.

“색인이 생성되었지만 차단됨” 메시지 이해하기

Google Search Console에서 URL이 “robots.txt에 의해 차단되었지만 색인이 생성됨”으로 표시될 수 있습니다. 이는 정상적인 동작이며 일반적으로 우려할 사항은 아닙니다.

이유

SEO 최적화를 위해 robots.txt에서 의도적으로 많은 페이지를 차단합니다. 이 메시지는 차단이 의도치 않은 경우에 대비하여 Google이 차단된 콘텐츠를 발견했음을 알리는 방법입니다. Shopify의 기본 robots.txt 파일에 있는 모든 것은 SEO에 도움이 되도록 의도된 것입니다.

사이트의 일반 페이지(예: 홈페이지)가 “색인이 생성되었지만 차단됨”으로 표시되는 경우, 일반적으로 스토어에 대한 Google의 데이터가 오래되었다는 의미입니다. Google이 모든 웹사이트의 최신 변경 사항으로 데이터베이스를 업데이트하는 데는 며칠, 몇 주 또는 몇 달이 걸릴 수 있습니다.

조치

대부분의 경우 조치가 필요하지 않습니다. 이는 크롤링이 차단되어야 하지만 다른 검색 방법을 통해 계속 색인이 생성될 수 있는 페이지에 대해 예상되는 동작입니다.

AI 크롤러 액세스 제어

ChatGPT 또는 Microsoft Copilot 같은 에이전트 스토어프론트를 통해 판매하는 경우 제품 데이터는 /robots.txt와 독립적으로 Shopify Catalog를 통해 해당 채널에 신디케이트됩니다. AI 크롤러는 개방형 웹을 통해 스토어에 직접 액세스할 수도 있습니다. 크롤러 액세스에는 다음 두 가지 제어 계층이 있습니다.

네트워크 계층: Shopify 스토어에서는 봇 관리가 직접 처리되므로 별도로 조치할 필요가 없습니다. Shopify는 Shopify 전면 프록시 구성을 권장하지 않으며, 이에 대한 지원도 제공할 수 없습니다.
/robots.txt 계층: 스토어의 robots.txt.liquid 템플릿을 사용자 지정하여 특정 사용자 에이전트 크롤러를 허용하거나 차단할 수 있습니다. /robots.txt 파일에 설정한 규칙은 지시 및 권장 사항일 뿐이며 모든 크롤러가 이 규칙을 따른다고 보장할 수는 없습니다.

/robots.txt 또는 네트워크 계층에서 AI 크롤러를 차단하면 개방형 웹 검색 가능성에만 영향을 미칩니다. Shopify Catalog가 활성화된 에이전트 스토어프론트로 제품 데이터를 전송하는 것은 중단되지 않습니다. Shopify Catalog가 에이전트 스토어프론트와 공유하는 내용을 제어하려면 에이전트 스토어프론트 설정 이해를 참조하십시오.

Shopify의 기본 robots.txt 이해하기

Shopify의 기본 robots.txt 파일에는 스토어의 SEO를 최적화하기 위한 특정 규칙이 포함되어 있습니다. 몇 가지 주요 항목의 기능은 다음과 같습니다.

Disallow: /admin - 어차피 봇이 액세스할 수 없으므로 관리자 페이지가 크롤링되지 않도록 합니다.
Disallow: /cart - 각 고객에게 고유하므로 카트 페이지는 색인을 생성할 필요가 없습니다.
Disallow: /checkout - 체크아웃 페이지는 크롤링하거나 색인을 생성할 필요가 없습니다.
Disallow: /collections/*+* - 중복 콘텐츠 문제를 야기할 수 있는 필터링된 컬렉션 페이지의 색인 생성을 방지합니다.
Disallow: /search - 검색 결과 페이지는 크롤링할 필요가 없습니다.
Disallow: /policies/ - 자동 생성된 정책 페이지는 스토어마다 유사하므로 색인을 생성할 필요가 없습니다.

이러한 규칙은 검색 엔진이 관리 또는 중복 페이지가 아닌 고유하고 가치 있는 콘텐츠에 집중하는 데 도움이 됩니다.

robots.txt.liquid 맞춤 설정 삭제

기본 robots.txt 파일을 다시 사용하려면 사용자 지정 robots.txt.liquid 파일을 삭제하면 됩니다.

단계:

Shopify 관리자에서 온라인 스토어 > 테마로 이동합니다.
> 코드 편집을 클릭합니다.
robots.txt.liquid를 마우스 오른쪽 버튼으로 클릭하고 드롭다운 메뉴에서 영구 삭제를 선택합니다.
삭제를 클릭합니다.

나중에 언제든지 robots.txt.liquid 파일을 편집할 수 있습니다. 또는 이전 맞춤 설정을 저장한 경우 저장된 이전 맞춤 설정을 복사하여 변경 사항을 다시 적용할 수 있습니다.