GPTBot을 차단해야 할까.
GPTBot은 OpenAI 모델을 학습시키려고 페이지를 모읍니다. 이를 차단해도 ChatGPT 답변에서 빠지지는 않습니다. 그 일은 다른 크롤러인 OAI-SearchBot이 합니다. 대형 AI 회사들은 이제 학습용과 답변용 크롤러를 따로 운영하므로, 각각에 대해 결정할 수 있습니다.
학습, 검색, 그리고 사람의 요청.
| 회사 | 크롤러 | 하는 일 | 차단하면 |
|---|---|---|---|
| OpenAI | GPTBot | OpenAI 모델 학습을 위해 페이지 수집 | 페이지가 학습에서 빠짐. ChatGPT 검색에는 영향 없음 |
| OpenAI | OAI-SearchBot | ChatGPT 검색을 위해 페이지를 가져감 | OpenAI에 따르면 ChatGPT 검색 답변에 나오지 않음 |
| OpenAI | ChatGPT-User | 사람이 ChatGPT에 요청할 때 페이지 방문 | OpenAI에 따르면 사람이 요청한 것이므로 robots.txt가 적용되지 않을 수 있음 |
| Anthropic | ClaudeBot | Claude 학습을 위해 페이지 수집 | 앞으로의 페이지가 학습에서 빠짐 |
| Anthropic | Claude-SearchBot | Claude의 검색 결과를 만듦 | Anthropic에 따르면 Claude 검색에서 덜 보일 수 있음 |
| Anthropic | Claude-User | 사람이 Claude에게 물을 때 페이지를 가져감 | Claude가 그 사람을 위해 페이지를 읽을 수 없음 |
| Google-Extended | Gemini 학습과 Gemini 앱의 그라운딩을 제어 | Gemini가 페이지를 쓸 수 없음. Google에 따르면 검색에는 영향 없음 | |
| Perplexity | PerplexityBot | Perplexity 검색 결과를 만듦. Perplexity에 따르면 학습에는 쓰이지 않음 | Perplexity 답변에서 페이지가 빠질 수 있음 |
2026년 10월 20일에 읽은 각 회사 페이지 기준: OpenAI의 크롤러 안내 페이지, Anthropic의 크롤러 안내 페이지, Google-Extended에 관한 Google 페이지, Perplexity의 크롤러 안내 페이지.
학습은 막고, 답변은 허용하기.
많은 사이트가 학습용 크롤러는 막고 검색용 크롤러는 허용합니다. 그러면 페이지가 모델 학습에서 빠지면서도 계속 인용될 수 있습니다. 이는 실수가 아니라 정책상의 선택이며, 무료 AI 준비도 점검은 점수 옆에 학습용 크롤러 상태를 보여 주되 차단을 감점하지 않습니다.
호스팅도 확인하세요. 2025년 7월 1일 Cloudflare는 기본 설정을 AI 크롤러 차단으로 바꿨습니다(Cloudflare). 그래서 누구도 결정하지 않았는데 사이트가 AI 크롤러를 막고 있을 수 있습니다. 설정은 Cloudflare 대시보드에 있습니다.
4단계, 약 10분.
robots.txt 읽기
yoursite.com/robots.txt를 열고 GPTBot, OAI-SearchBot, ClaudeBot, Claude-SearchBot, Google-Extended, PerplexityBot을 찾아보세요.
방화벽과 호스팅 확인하기
robots.txt가 허용해도 보안 설정이 크롤러를 돌려보낼 수 있습니다. 가장 흔한 것은 Cloudflare의 AI 크롤러 설정입니다.
하루 기다리기
OpenAI에 따르면 ChatGPT 검색이 robots.txt 변경을 반영하는 데 약 24시간이 걸립니다.
묻기 전에 먼저 답해 드립니다.
GPTBot을 차단해야 하나요?
페이지가 OpenAI 모델 학습에 쓰이길 원하지 않는다면 차단하세요. ChatGPT 검색은 OAI-SearchBot을 쓰므로 차단해도 ChatGPT 검색에서 빠지지 않습니다. ChatGPT가 우리를 추천하길 원한다면 OAI-SearchBot은 허용해 두세요.
GPTBot을 차단하면 ChatGPT 가시성이 떨어지나요?
OpenAI에 따르면 ChatGPT 검색에는 영향이 없습니다. GPTBot은 학습용, OAI-SearchBot은 검색용이며 각 설정은 별개입니다.
GPTBot은 막고 ChatGPT 검색은 허용하려면 어떻게 하나요?
robots.txt에 User-agent: GPTBot 줄을 넣고 이어서 Disallow: /를 적은 뒤, OAI-SearchBot은 허용해 두세요.
AI 크롤러는 robots.txt를 따르나요?
주요 AI 회사들은 자사 크롤러가 따른다고 말합니다. OpenAI는 사람이 요청해서 페이지를 방문하는 ChatGPT-User는 따르지 않을 수 있다고 밝힙니다.
AI가 구매자에게 우리에 대해 뭐라고 말하는지 확인하세요.
요금제는 월 €79(세금 별도)부터이며, 모든 요금제에 11개 어시스턴트가 모두 포함됩니다. 무료 AI 준비도 점검부터 시작할 수도 있습니다.