是否應該攔截 GPTBot。
GPTBot 收集頁面用於訓練 OpenAI 的模型。攔截它並不會讓您從 ChatGPT 的回答中消失：那項工作由另一個爬蟲 OAI-SearchBot 負責。大型 AI 公司現在分別為訓練和回答執行不同的爬蟲，您可以逐個做出決定。
訓練、搜尋，以及有人提問。
| 公司 | 爬蟲 | 作用 | 如果攔截它 |
|---|---|---|---|
| OpenAI | GPTBot | 收集頁面以訓練 OpenAI 的模型 | 您的頁面不會被用於訓練。ChatGPT 搜尋不受影響 |
| OpenAI | OAI-SearchBot | 為 ChatGPT 搜尋抓取頁面 | OpenAI 表示，您不會出現在 ChatGPT 搜尋的回答中 |
| OpenAI | ChatGPT-User | 在有人讓 ChatGPT 造訪時存取頁面 | OpenAI 表示，由於是使用者發起的請求，robots.txt 可能不適用 |
| Anthropic | ClaudeBot | 收集頁面用於訓練 Claude | 您今後的頁面不會被用於訓練 |
| Anthropic | Claude-SearchBot | 構建 Claude 的搜尋結果 | Anthropic 表示，您在 Claude 搜尋中的可見度可能降低 |
| Anthropic | Claude-User | 在有人向 Claude 提問時抓取頁面 | Claude 無法為那個人讀取您的頁面 |
| Google-Extended | 控制 Gemini 訓練以及 Gemini 應用中的回答依據 | Gemini 無法使用您的頁面；Google 表示搜尋不受影響 | |
| Perplexity | PerplexityBot | 構建 Perplexity 的搜尋結果；Perplexity 表示不用於訓練 | 您的頁面可能從 Perplexity 的回答中消失 |
依據各公司自己的頁面，閱讀日期為 2026 年 10 月 20 日：OpenAI 關於其程式的頁面；Anthropic 關於其程式的頁面；Google 關於 Google-Extended 的頁面；Perplexity 關於其程式的頁面。
攔截訓練，允許回答。
許多網站攔截訓練爬蟲、允許搜尋爬蟲，這樣頁面不會進入模型訓練，但仍可以被引用。這是一種政策選擇，而不是錯誤；免費的AI 就緒度檢查會在分數旁邊報告訓練爬蟲的情況，但不會因為攔截而給您扣分。
也要檢查您的託管服務。2025 年 7 月 1 日，Cloudflare 把預設設定改為攔截 AI 爬蟲（Cloudflare），所以一個網站可能在沒有任何人做決定的情況下就攔截了它們。這項設定在您的 Cloudflare 控制台中。
4 個步驟，大約 10 分鐘。
閱讀您的 robots.txt
開啟 yoursite.com/robots.txt，查詢 GPTBot、OAI-SearchBot、ClaudeBot、Claude-SearchBot、Google-Extended 和 PerplexityBot。
檢查防火牆和託管服務
即使 robots.txt 允許，安全設定也可能把爬蟲拒之門外。Cloudflare 的 AI 爬蟲設定是最常見的一種。
等一天
OpenAI 表示，ChatGPT 搜尋大約需要 24 小時才會響應 robots.txt 的更改。
在您提問之前，先替您問好了。
我應該攔截 GPTBot 嗎？
如果您不希望頁面被用於訓練 OpenAI 的模型，就攔截它。這不會讓您從 ChatGPT 搜尋中消失，因為 ChatGPT 搜尋使用的是 OAI-SearchBot。如果您希望 ChatGPT 推薦您，請保持允許 OAI-SearchBot。
攔截 GPTBot 會影響我在 ChatGPT 中的可見度嗎？
據 OpenAI 說，不會影響 ChatGPT 搜尋：GPTBot 用於訓練，OAI-SearchBot 用於搜尋，兩項設定相互獨立。
如何攔截 GPTBot 但允許 ChatGPT 搜尋？
在 robots.txt 中加入一行 User-agent: GPTBot，下一行寫 Disallow: /，並保持允許 OAI-SearchBot。
AI 爬蟲會遵守 robots.txt 嗎？
主要 AI 公司表示它們的爬蟲會遵守。OpenAI 指出，ChatGPT-User 因為是使用者要求才存取頁面，可能不會遵守。