모든 AI 크롤러 차단

콘텐츠를 원칙적으로 AI 시스템에서 배제하려면 명명된 각 봇에 대한 규칙이 필요합니다 — 와일드카드로는 부족한데, 많은 봇이 이를 무시하거나 자체 블록을 기대하기 때문입니다.

봇 목록

최소한 고려해야 할 것: GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, Claude-SearchBot, Claude-User, PerplexityBot, Perplexity-User, Google-Extended, CCBot, Bytespider, Amazonbot, Applebot-Extended, Meta-ExternalAgent. 봇마다 "Disallow: /"가 있는 자체 블록.

robots.txt가 할 수 없는 것

robots.txt는 요청이지 강제가 아닙니다. Bytespider나 Perplexity 같은 봇은 이를 우회한다는 비판을 받았습니다. 강력한 차단에는 user-agent에 대한 WAF 또는 방화벽 규칙을, 가능한 경우 검증된 IP 대역에도 추가하세요.

대가

완전 차단은 출처 링크가 있는 AI 답변에서 당신을 제외합니다 — 즉 성장하는 정보 검색의 일부에서. 많은 사이트에는 더 표적화된 방식이 합리적입니다: 학습 금지, 검색 허용.

효과 확인

citeglass는 이 각 user-agent로 페이지를 가져와 매트릭스로 어떤 봇이 robots.txt에 따라 차단되는지, 서버가 실제로 차단을 적용하는지 보여줍니다.

귀하의 사이트를 점검하세요

citeglass는 약 30초 만에 귀하의 웹사이트가 AI 시스템에 읽히지 않는 곳을 보여줍니다 — 무료, 로그인 불필요.

계속 읽기

일반 정보이며 법률 자문이 아닙니다. GEO는 새로운 분야입니다 — 권장 사항은 바뀔 수 있습니다.