Sollten Sie GPTBot sperren.
GPTBot sammelt Seiten, um die Modelle von OpenAI zu trainieren. Wer ihn sperrt, bleibt trotzdem in den Antworten von ChatGPT: Diese Aufgabe erledigt ein anderer Crawler, OAI-SearchBot. Die großen KI-Unternehmen betreiben inzwischen getrennte Crawler für Training und für Antworten, und Sie können über jeden einzeln entscheiden.
Training, Suche und eine fragende Person.
| Unternehmen | Crawler | Was er tut | Wenn Sie ihn sperren |
|---|---|---|---|
| OpenAI | GPTBot | Sammelt Seiten, um die Modelle von OpenAI zu trainieren | Ihre Seiten bleiben aus dem Training heraus. Die ChatGPT-Suche ist nicht betroffen |
| OpenAI | OAI-SearchBot | Holt Seiten für die ChatGPT-Suche | Laut OpenAI werden Sie in den Antworten der ChatGPT-Suche nicht gezeigt |
| OpenAI | ChatGPT-User | Besucht eine Seite, wenn eine Person ChatGPT darum bittet | Laut OpenAI gilt die robots.txt womöglich nicht, weil eine Person gefragt hat |
| Anthropic | ClaudeBot | Sammelt Seiten für das Training von Claude | Ihre künftigen Seiten bleiben aus dem Training heraus |
| Anthropic | Claude-SearchBot | Baut die Suchergebnisse von Claude auf | Laut Anthropic sind Sie in Claudes Suche womöglich weniger sichtbar |
| Anthropic | Claude-User | Ruft eine Seite ab, wenn eine Person Claude fragt | Claude kann Ihre Seite für diese Person nicht lesen |
| Google-Extended | Steuert das Training von Gemini und das Grounding in der Gemini-App | Gemini kann Ihre Seiten nicht nutzen; laut Google ist die Suche nicht betroffen | |
| Perplexity | PerplexityBot | Baut die Suchergebnisse von Perplexity auf; laut Perplexity nicht für das Training genutzt | Ihre Seiten können aus den Antworten von Perplexity herausfallen |
Von der eigenen Seite jedes Unternehmens, gelesen am 20. Oktober 2026: OpenAIs Seite zu seinen Crawlern; Anthropics Seite zu seinen Crawlern; Googles Seite zu Google-Extended; Perplexitys Seite zu seinen Crawlern.
Training sperren, Antworten zulassen.
Viele Websites sperren die Trainings-Crawler und lassen die Such-Crawler zu, sodass ihre Seiten aus dem Training der Modelle herausbleiben und trotzdem zitiert werden können. Das ist eine Grundsatzentscheidung, kein Fehler, und die kostenlose KI-Bereitschaftsprüfung zeigt Trainings-Crawler neben ihrem Score an, ohne Ihnen eine Sperre anzurechnen.
Prüfen Sie auch Ihren Hoster. Am 1. Juli 2025 hat Cloudflare seine Voreinstellung so geändert, dass KI-Crawler gesperrt werden (Cloudflare), sodass eine Website sie sperren kann, ohne dass jemand das entschieden hat. Die Einstellung finden Sie in Ihrem Cloudflare-Dashboard.
4 Schritte, etwa 10 Minuten.
Ihre robots.txt lesen
Öffnen Sie yoursite.com/robots.txt und suchen Sie nach GPTBot, OAI-SearchBot, ClaudeBot, Claude-SearchBot, Google-Extended und PerplexityBot.
Firewall und Hoster prüfen
Eine Sicherheitseinstellung kann Crawler abweisen, selbst wenn die robots.txt sie zulässt. Die Einstellung für KI-Crawler bei Cloudflare ist die häufigste.
Die KI-Bereitschaftsprüfung ausführen
Die kostenlose KI-Bereitschaftsprüfung zeigt in etwa 20 Sekunden, welche KI-Crawler eine Seite Ihrer Website lesen können.
Einen Tag warten
Laut OpenAI braucht die ChatGPT-Suche etwa 24 Stunden, um auf eine Änderung der robots.txt zu reagieren.
Beantwortet, bevor Sie fragen.
Soll ich GPTBot sperren?
Sperren Sie ihn, wenn Ihre Seiten nicht zum Training der Modelle von OpenAI genutzt werden sollen. Aus der ChatGPT-Suche hält er Sie nicht heraus, denn die nutzt OAI-SearchBot. Wenn ChatGPT Sie empfehlen soll, lassen Sie OAI-SearchBot zu.
Schadet eine Sperre von GPTBot meiner Sichtbarkeit in ChatGPT?
In der ChatGPT-Suche nicht, laut OpenAI: GPTBot ist für das Training, OAI-SearchBot für die Suche, und jede Einstellung ist getrennt.
Wie sperre ich GPTBot, lasse aber die ChatGPT-Suche zu?
Fügen Sie in der robots.txt die Zeile User-agent: GPTBot ein, gefolgt von Disallow: /, und lassen Sie OAI-SearchBot zugelassen.
Halten sich KI-Crawler an die robots.txt?
Die großen KI-Unternehmen sagen, ihre Crawler tun es. OpenAI merkt an, dass ChatGPT-User, das eine Seite besucht, weil eine Person gefragt hat, sich womöglich nicht daran hält.
Sehen Sie, was KI Ihren Käufern über Sie erzählt.
Tarife ab 79 € im Monat, netto, mit allen 11 Assistenten in jedem Tarif. Oder beginnen Sie mit der kostenlosen KI-Bereitschaftsprüfung.