CCBot과 Common Crawl
Common Crawl은 자유롭게 이용할 수 있는 웹 아카이브를 구축하며, 이는 수많은 언어 모델의 학습 데이터에 포함됩니다.
CCBot이 특별한 이유
GPTBot과 ClaudeBot만 차단하면 콘텐츠가 Common Crawl 데이터셋을 통해 모델에 들어갈 수 있습니다. 학습을 원칙적으로 거부한다면 CCBot도 함께 고려해야 합니다.
차단
"User-agent: CCBot" 다음에 "Disallow: /". Common Crawl은 다음 크롤링 시 robots.txt를 준수하며, 기존 아카이브 항목은 데이터셋이 다시 수집될 때까지 남습니다.
고려 사항
Common Crawl은 연구, 검색 프로젝트, 아카이빙에도 사용됩니다. 차단은 상업용 AI 학습뿐 아니라 이 모든 용도에 영향을 미칩니다.
규칙 확인
citeglass는 robots.txt가 CCBot을 허용하는지 차단하는지, 그리고 규칙이 봇 전용인지 "User-agent: *" 블록을 통해서만 적용되는지 보여줍니다.
귀하의 사이트를 점검하세요
citeglass는 약 30초 만에 귀하의 웹사이트가 AI 시스템에 읽히지 않는 곳을 보여줍니다 — 무료, 로그인 불필요.
계속 읽기
일반 정보이며 법률 자문이 아닙니다. GEO는 새로운 분야입니다 — 권장 사항은 바뀔 수 있습니다.