是否应该拦截 GPTBot。
GPTBot 收集页面用于训练 OpenAI 的模型。拦截它并不会让您从 ChatGPT 的回答中消失：那项工作由另一个爬虫 OAI-SearchBot 负责。大型 AI 公司现在分别为训练和回答运行不同的爬虫，您可以逐个做出决定。
训练、搜索，以及有人提问。
| 公司 | 爬虫 | 作用 | 如果拦截它 |
|---|---|---|---|
| OpenAI | GPTBot | 收集页面以训练 OpenAI 的模型 | 您的页面不会被用于训练。ChatGPT 搜索不受影响 |
| OpenAI | OAI-SearchBot | 为 ChatGPT 搜索抓取页面 | OpenAI 表示，您不会出现在 ChatGPT 搜索的回答中 |
| OpenAI | ChatGPT-User | 在有人让 ChatGPT 访问时访问页面 | OpenAI 表示，由于是用户发起的请求，robots.txt 可能不适用 |
| Anthropic | ClaudeBot | 收集页面用于训练 Claude | 您今后的页面不会被用于训练 |
| Anthropic | Claude-SearchBot | 构建 Claude 的搜索结果 | Anthropic 表示，您在 Claude 搜索中的可见度可能降低 |
| Anthropic | Claude-User | 在有人向 Claude 提问时抓取页面 | Claude 无法为那个人读取您的页面 |
| Google-Extended | 控制 Gemini 训练以及 Gemini 应用中的回答依据 | Gemini 无法使用您的页面；Google 表示搜索不受影响 | |
| Perplexity | PerplexityBot | 构建 Perplexity 的搜索结果；Perplexity 表示不用于训练 | 您的页面可能从 Perplexity 的回答中消失 |
依据各公司自己的页面，阅读日期为 2026 年 10 月 20 日：OpenAI 关于其程序的页面；Anthropic 关于其程序的页面；Google 关于 Google-Extended 的页面；Perplexity 关于其程序的页面。
拦截训练，允许回答。
许多网站拦截训练爬虫、允许搜索爬虫，这样页面不会进入模型训练，但仍可以被引用。这是一种政策选择，而不是错误；免费的AI 就绪度检查会在分数旁边报告训练爬虫的情况，但不会因为拦截而给您扣分。
也要检查您的托管服务。2025 年 7 月 1 日，Cloudflare 把默认设置改为拦截 AI 爬虫（Cloudflare），所以一个网站可能在没有任何人做决定的情况下就拦截了它们。这项设置在您的 Cloudflare 控制台中。
4 个步骤，大约 10 分钟。
阅读您的 robots.txt
打开 yoursite.com/robots.txt，查找 GPTBot、OAI-SearchBot、ClaudeBot、Claude-SearchBot、Google-Extended 和 PerplexityBot。
检查防火墙和托管服务
即使 robots.txt 允许，安全设置也可能把爬虫拒之门外。Cloudflare 的 AI 爬虫设置是最常见的一种。
等一天
OpenAI 表示，ChatGPT 搜索大约需要 24 小时才会响应 robots.txt 的更改。
在您提问之前，先替您问好了。
我应该拦截 GPTBot 吗？
如果您不希望页面被用于训练 OpenAI 的模型，就拦截它。这不会让您从 ChatGPT 搜索中消失，因为 ChatGPT 搜索使用的是 OAI-SearchBot。如果您希望 ChatGPT 推荐您，请保持允许 OAI-SearchBot。
拦截 GPTBot 会影响我在 ChatGPT 中的可见度吗？
据 OpenAI 说，不会影响 ChatGPT 搜索：GPTBot 用于训练，OAI-SearchBot 用于搜索，两项设置相互独立。
如何拦截 GPTBot 但允许 ChatGPT 搜索？
在 robots.txt 中加入一行 User-agent: GPTBot，下一行写 Disallow: /，并保持允许 OAI-SearchBot。
AI 爬虫会遵守 robots.txt 吗？
主要 AI 公司表示它们的爬虫会遵守。OpenAI 指出，ChatGPT-User 因为是用户要求才访问页面，可能不会遵守。