OAI-SearchBot und ChatGPT-User: der Unterschied zu GPTBot

OpenAI betreibt mehrere Crawler mit getrennten Aufgaben: GPTBot sammelt laut Dokumentation Inhalte für das Training, OAI-SearchBot baut den Suchindex für ChatGPT-Suchfunktionen auf, und ChatGPT-User ruft Seiten ab, wenn jemand im Chat danach fragt. Wer in ChatGPT als Quelle vorkommen will, sollte den Unterschied kennen.

Drei Namen, drei Aufgaben

Die Crawler-Übersicht von OpenAI trennt die Bots nach Zweck. Das ist keine Spitzfindigkeit, sondern der Hebel für Ihre Entscheidungen. Eine einzige pauschale Regel für “OpenAI” gibt es nicht, und wer sie sucht, sperrt entweder zu viel oder zu wenig.

Bot	Aufgabe laut Dokumentation	Relevanz für Ihre Sichtbarkeit
GPTBot	Inhalte für das Training künftiger Modelle	Beeinflusst, ob Ihre Texte ins Training gelangen können
OAI-SearchBot	Index für ChatGPT-Suchfunktionen	Voraussetzung, um in Such-Antworten als Quelle zu erscheinen
ChatGPT-User	Abruf auf Nutzeranfrage im Chat	Wichtig, wenn jemand Ihre Seite im Chat lesen lässt

Prüfen Sie die Tabelle regelmäßig gegen die Originalquelle. Anbieter ergänzen Bots und ändern Beschreibungen, ohne dass es eine Meldung für Website-Betreiber gibt.

Was daraus für robots.txt folgt

Wenn Sie in ChatGPT-Antworten vorkommen wollen, ist die Sperre des Such-Bots kontraproduktiv. Wenn Sie das Training ablehnen, genügt die Sperre von GPTBot. Eine Konfiguration “Training aus, Suche an” sieht so aus:

User-agent: GPTBot
Disallow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: ChatGPT-User
Allow: /

Bei ChatGPT-User ist die Lage unübersichtlicher, weil nutzerausgelöste Abrufe anders behandelt werden können als automatische Crawls. Was dort aktuell gilt, steht in der OpenAI-Dokumentation und nicht in diesem Artikel. Die Grundregel des Robots Exclusion Protocol bleibt: Es ist eine Bitte an kooperierende Programme, keine Zugriffskontrolle.

Key takeaway: “ChatGPT sperren” gibt es nicht. Es gibt drei Bots, und jeder hat eine andere Folge für Training, Suchindex und Live-Abruf.

Wie Sie die Bots in Ihren Daten erkennen

Suchen Sie in den Logs nach den Namen der Bots im User-Agent. Wer einzelne Strings einordnen will, nutzt den KI-Crawler-Identifier von BusinessMCP, der laut Seite im Browser läuft und Bot, Betreiber, Zweck und passende robots.txt-Zeile nennt. Er weist zugleich darauf hin, dass User-Agents selbst deklariert sind. Eine saubere Anleitung zur Auswertung finden Sie in der Logfile-Analyse für KI-Crawler.

Ein typisches Bild: GPTBot ruft viele Seiten in Wellen ab, OAI-SearchBot taucht gleichmäßiger auf, ChatGPT-User nur vereinzelt und oft auf Seiten, die jemand gerade im Chat angefragt hat. Das ist eine Erwartung, keine Garantie. Prüfen Sie Ihre eigenen Zahlen.

Entscheidungsbaum in vier Fragen

1. Wollen Sie, dass ChatGPT Ihre Seiten als Quelle nennen kann? Dann OAI-SearchBot zulassen.
2. Sollen Nutzer Ihre Seite im Chat vorlesen lassen können? Dann ChatGPT-User nicht sperren.
3. Haben Sie Bedenken gegen Training? Dann GPTBot sperren und das Datum festhalten.
4. Brauchen Sie harte Durchsetzung? Dann zusätzlich Regeln in WAF oder Server, siehe WAF und CDN blockieren KI-Crawler.

Die Abwägung zum Trainings-Bot vertieft der Beitrag, ob Sie GPTBot blockieren sollten. Die komplette Datei mit weiteren Anbietern steht in robots.txt für KI-Crawler.

Der schnelle Praxis-Check

Öffnen Sie Ihre robots.txt und suchen Sie nach den drei Namen. Fehlen sie, gilt die Sternregel. Steht dort Disallow: /, sind alle gesperrt. Statt zu raten, lassen Sie die Datei mit dem AI Crawler Checker auswerten. Laut Anbieter zeigt er, welche KI-Crawler zugelassen sind. Das Ergebnis ist ein Blick auf Ihre Absicht, nicht auf das tatsächliche Verhalten der Bots.

Für alles, was danach kommt, also die Frage, ob Ihre Marke in Antworten genannt wird, brauchen Sie wiederholte Messungen. Der Beitrag zur KI-Sichtbarkeit analysieren beschreibt, wie das aussieht. Und falls Sie trotz offener Regeln nicht vorkommen, hilft die Fehlersuche in Website wird in ChatGPT nicht gefunden weiter.

Warum die Trennung für Inhalte wichtig ist

Die Aufteilung der Bots hat eine praktische Folge für Ihre Content-Strategie. Inhalte, die in einer Suche als Quelle dienen sollen, müssen vom Such-Bot gelesen werden können. Dafür müssen sie im ausgelieferten HTML stehen, schnell antworten und eindeutig formuliert sein. Wer Texte hinter Skripten versteckt, verliert unabhängig von jeder robots.txt-Regel.

Beispiel: Zwei Seiten, zwei Wirkungen

Angenommen, ein Steuerberater in der Region hat zwei Seiten. Die Leistungsseite ist öffentlich, kurz und klar: Wer, wo, was, für wen. Der Ratgeberbereich ist umfangreich, aber nur per Login lesbar. Der Such-Bot kann die Leistungsseite lesen und eventuell für Anfragen nach dem Dienstleister heranziehen. Den Ratgeber kann er nicht lesen, also auch nicht zitieren. Das ist eine bewusste Entscheidung des Betreibers, sollte aber auch als solche getroffen werden und nicht zufällig entstehen.

Fehlerquellen bei der Umsetzung

• Nur GPTBot geregelt. Manche Anleitungen im Netz nennen nur diesen Bot. Die anderen fallen dann unter die Sternregel.
• Alte Bot-Namen. Namen ändern sich. Eine Regel für einen veralteten Namen läuft ins Leere.
• WAF überstimmt robots.txt. Wenn die Firewall Rechenzentrums-IP-Bereiche abweist, kommt auch ein erlaubter Bot nicht durch. Siehe WAF und CDN blockieren KI-Crawler.
• Fehlende Messung. Ohne Logs bleibt unklar, ob die Bots überhaupt kommen.

Weiterführende Messung

Wenn der Zugang geklärt ist, geht es um die Frage, ob und wie oft Ihre Marke genannt wird. BusinessMCP beschreibt dafür das KI-Sichtbarkeits-Tracking, das laut Anbieter je nach Tarif unterschiedliche Engines abdeckt. ChatGPT-Websuche gehört demnach zum Tarif Scale für 199 US-Dollar im Monat; im Tarif Free werden fünf Fragen nur als KI-Erinnerung ohne Websuche geprüft. Preise und Umfang bitte beim Anbieter nachlesen. Ob sich das für Ihren Betrieb lohnt, hängt davon ab, wie wichtig Empfehlungen über Assistenten für Ihre Kundschaft sind; der Beitrag KI-Sichtbarkeit analysieren hilft bei der Einordnung.

Bleiben Sie nüchtern: Eine offene Konfiguration schafft die Möglichkeit, genannt zu werden, mehr nicht. Alles Weitere entscheidet die Qualität Ihrer Inhalte.

Häufige Rückfragen aus Projekten

“Reicht es, wenn ich Googlebot zulasse?” Nein. Googlebot ist der Crawler der Google-Suche. Die OpenAI-Bots sind davon unabhängig, und eine Freigabe für den einen sagt nichts über die anderen. Auch die Gegenrichtung gilt: Wer OpenAI-Bots sperrt, verschwindet nicht aus der Google-Suche.

“Wir haben nur ein Impressum und drei Leistungsseiten. Lohnt sich das überhaupt?” Gerade kleine Seiten profitieren von Klarheit. Wenn eine Leistungsseite sauber erklärt, was Sie wo für wen anbieten, ist sie als Quelle brauchbarer als ein langer, unscharfer Text. Der Zugang ist hier die Minimalvoraussetzung.

“Müssen wir das alle drei Monate neu prüfen?” Ein Quartalsrhythmus ist vernünftig, weil Betreiber Bots umbenennen oder ergänzen. Ein kurzer Blick in die Dokumentation und ein neuer Check dauern zusammen wenige Minuten und verhindern, dass eine veraltete Regel monatelang unbemerkt bleibt.

“Wie erkläre ich das meiner Geschäftsführung?” Mit einem Satz: Es gibt drei verschiedene Bots, und wir haben bewusst entschieden, welche wir zulassen. Eine Tabelle mit Bot, Zweck, Entscheidung und Datum genügt als Dokumentation.