ClaudeBot과 Anthropic 크롤러
Anthropic은 Claude를 위해 세 개의 크롤러를 운영합니다: 학습용, 검색용, 사용자 요청 시 가져오기용.
세 봇
ClaudeBot은 학습 데이터를 수집합니다. Claude-SearchBot은 Claude의 웹 검색 색인을 구축합니다. Claude-User는 사용자가 대화에서 요청할 때 페이지를 가져옵니다. ClaudeBot만 모델 학습에 관련됩니다.
접근 조절하기
봇마다 별도의 robots.txt 블록. 학습을 거부하지만 Claude 답변에서 인용되고 싶은 사람은 ClaudeBot을 “Disallow: /”로 차단하고 Claude-SearchBot과 Claude-User는 계속 허용합니다.
흔한 실수
단일 블록 “User-agent: Claude*”는 작동하지 않습니다 — robots.txt는 단독 “*”를 제외하고 사용자 에이전트 이름의 와일드카드를 인식하지 않습니다. 각 봇을 개별적으로 지정하세요.
서버 응답 확인하기
citeglass는 ClaudeBot, Claude-SearchBot, Claude-User의 실제 사용자 에이전트로 페이지를 가져오고, robots.txt가 봇을 허용하지만 서버가 거부하는 경우 표시합니다.
귀하의 사이트를 점검하세요
citeglass는 약 30초 만에 귀하의 웹사이트가 AI 시스템에 읽히지 않는 곳을 보여줍니다 — 무료, 로그인 불필요.
계속 읽기
일반 정보이며 법률 자문이 아닙니다. GEO는 새로운 분야입니다 — 권장 사항은 바뀔 수 있습니다.