GPTBot 허용 또는 차단하기

GPTBot은 OpenAI가 향후 모델 학습을 위해 공개적으로 이용 가능한 콘텐츠를 수집하는 데 사용하는 크롤러입니다.

GPTBot이 담당하는 것

GPTBot은 학습 데이터용으로 페이지를 불러옵니다 — ChatGPT에서 구체적인 사용자 질문에 답하기 위한 것이 아닙니다. ChatGPT의 실시간 검색은 OAI-SearchBot과 ChatGPT-User가 담당합니다. GPTBot을 차단하지만 AI 검색에서 보이고 싶은 사람은 이 둘을 계속 허용해야 합니다.

허용하기

별도 블록이 GPTBot에 전체 접근을 부여합니다: “User-agent: GPTBot” 다음에 “Allow: /”. 중요: 봇별 블록은 GPTBot에 대해 “User-agent: *” 블록을 완전히 대체합니다 — 필요한 Disallow 규칙을 거기서 반복하세요.

차단하기

“User-agent: GPTBot” 다음에 “Disallow: /”는 GPTBot을 전체 도메인에서 차단합니다. OpenAI는 보통 24시간 이내에 robots.txt를 준수합니다. 이미 학습에 들어간 콘텐츠는 이것으로 되돌릴 수 없습니다.

작동하는지 확인하기

GPTBot은 robots.txt를 준수합니다 — 그러나 WAF나 봇 보호가 사용자 에이전트를 사전에 403으로 거부하면 그래도 통과하지 못합니다. citeglass는 실제 GPTBot 사용자 에이전트로 페이지를 가져와 robots.txt 규칙과 실제 서버 응답이 일치하는지 보여줍니다.

귀하의 사이트를 점검하세요

citeglass는 약 30초 만에 귀하의 웹사이트가 AI 시스템에 읽히지 않는 곳을 보여줍니다 — 무료, 로그인 불필요.

계속 읽기

일반 정보이며 법률 자문이 아닙니다. GEO는 새로운 분야입니다 — 권장 사항은 바뀔 수 있습니다.