학습 금지, 검색 허용

대부분의 제공업체는 학습 크롤러와 검색 크롤러를 분리합니다. 이로써 모델 학습에서 빠지면서도 인용된 출처로 계속 나타날 수 있습니다.

학습 봇 차단

Disallow 대상: GPTBot(OpenAI), ClaudeBot(Anthropic), CCBot(Common Crawl), 그리고 토큰 Google-Extended와 Applebot-Extended. Llama 학습에서도 빠지고 싶다면 선택적으로 Meta-ExternalAgent.

검색 봇 허용

Allow 대상: OAI-SearchBot와 ChatGPT-User(ChatGPT 검색), Claude-SearchBot와 Claude-User(Claude), PerplexityBot와 Perplexity-User(Perplexity), Googlebot(Google 검색과 AI 개요).

회색 지대

모든 제공업체가 깔끔하게 분리하는 것은 아닙니다: Common Crawl은 검색을 모르고, Bytespider는 둘을 섞습니다. 그리고 학습을 금지했더라도 텍스트 발췌가 AI 개요에 실릴 수 있습니다 — 그것은 검색 색인을 따릅니다.

구성 확인

citeglass는 봇별로 분리하여 적용되는 robots.txt 규칙과 실제 서버 응답을 보여줍니다 — "학습 끄기, 검색 켜기" 분리가 실제로 적용되는지 한눈에 볼 수 있습니다.

귀하의 사이트를 점검하세요

citeglass는 약 30초 만에 귀하의 웹사이트가 AI 시스템에 읽히지 않는 곳을 보여줍니다 — 무료, 로그인 불필요.

계속 읽기

일반 정보이며 법률 자문이 아닙니다. GEO는 새로운 분야입니다 — 권장 사항은 바뀔 수 있습니다.