GPTBot blockieren oder erlauben: Entscheidungshilfe

GPTBot zu blockieren heißt, OpenAI über die robots.txt zu bitten, Ihre Inhalte nicht für das Training künftiger Modelle zu verwenden. Die Sperre ist eine Bitte, keine Technik-Barriere, und sie betrifft laut Dokumentation nicht die übrigen OpenAI-Bots für Suche und Nutzerabrufe. Ob sie sinnvoll ist, hängt von Ihrem Ziel ab.

Die Frage richtig stellen

“GPTBot blockieren ja oder nein” klingt nach einer Technikfrage, ist aber eine Geschäftsfrage mit zwei Seiten. Auf der einen steht der Wunsch, die eigenen Texte, Bilder oder Preislisten nicht in Trainingsdaten wiederzufinden. Auf der anderen steht der Wunsch, in KI-Antworten genannt zu werden. Weil OpenAI diese beiden Dinge in der Crawler-Dokumentation auf unterschiedliche Bots verteilt, müssen Sie sich nicht für eine Seite entscheiden.

Bevor Sie etwas ändern, lohnt der Blick auf den Ist-Zustand. Öffnen Sie Ihre robots.txt und lassen Sie sie mit dem AI Crawler Checker auswerten. Viele Seiten haben GPTBot längst gesperrt, ohne dass es jemand weiß, etwa durch ein Sicherheits-Plugin oder eine Vorlage des Hosters.

Drei typische Strategien

Strategie	robots.txt-Idee	Passt zu
Offen	Keine Sonderregel für KI-Bots	Betrieben, die Reichweite in KI-Antworten wollen und kein Training-Problem sehen
Training aus, Suche an	GPTBot sperren, Such- und Abruf-Bots zulassen	Verlagen, Fotografen, Anbietern mit eigenem Content-Wert, die trotzdem zitiert werden wollen
Alles aus	Alle KI-Bots sperren	Seiten mit vertraulichen oder lizenzpflichtigen Inhalten

Die mittlere Variante ist in der Praxis oft der Kompromiss. Sie hängt davon ab, dass der Betreiber seine Bots tatsächlich so trennt wie dokumentiert. Das müssen Sie nicht blind glauben: Vergleichen Sie Ihre Logs, wie im Beitrag zur Logfile-Analyse beschrieben.

So sieht die Regel aus

Die Variante “Training aus, Suche an” schreiben Sie so:

User-agent: GPTBot
Disallow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: ChatGPT-User
Allow: /

Wichtig: Prüfen Sie die Namen in der aktuellen OpenAI-Dokumentation, bevor Sie die Datei veröffentlichen. Tippfehler im User-Agent führen dazu, dass die Regel ins Leere läuft. Die Unterschiede der drei Bots erklärt der Beitrag zu OAI-SearchBot und ChatGPT-User. Eine vollständige Datei mit weiteren Anbietern finden Sie unter robots.txt für KI-Crawler.

Key takeaway: Eine Sperre von GPTBot ist keine Sperre von ChatGPT. Wer Sichtbarkeit in der Suche behalten will, muss die Such-Bots separat zulassen.

Was die Sperre nicht leistet

Drei Grenzen sollten Sie kennen:

1. Keine Rückwirkung. Die Regel betrifft künftige Abrufe. Inhalte, die ein Betreiber vorher erfasst hat, löscht sie nicht.
2. Keine Durchsetzung. Das Robots Exclusion Protocol beschreibt freiwillige Regeln. Ein Bot, der sie ignoriert, wird nicht aufgehalten. Dann hilft nur eine Regel in WAF oder Webserver, siehe WAF und CDN blockieren KI-Crawler.
3. Keine Wirkung auf andere Anbieter. Anthropic, Perplexity, Google und andere haben eigene Tokens. Eine GPTBot-Regel betrifft sie nicht.

Checkliste vor der Entscheidung

• Welche Inhalte haben tatsächlich Wert, wenn sie nicht öffentlich im Training landen? Preislisten, Studien, Redaktion?
• Wollen Sie in ChatGPT als Quelle auftauchen? Dann lassen Sie die Such-Bots zu.
• Gibt es Verträge oder Lizenzen, die einen Nutzungsvorbehalt verlangen? Fragen Sie Ihre Rechtsberatung.
• Wer pflegt die robots.txt? Legen Sie eine Verantwortung fest und notieren Sie das Datum der Änderung.
• Wie prüfen Sie die Wirkung? Planen Sie einen Blick in die Logs nach zwei Wochen ein.

Messen statt vermuten

Nach einer Änderung stellt sich die Frage, ob sich in KI-Antworten etwas verändert. Dafür reicht ein einmaliger Check nicht, weil KI-Antworten schwanken. BusinessMCP beschreibt beim KI-Sichtbarkeits-Tracking, dass Fragen wöchentlich mehrfach pro Engine gestellt werden und Quoten mit Konfidenzintervall ausgewiesen werden. Das ist die Art von Messung, die Sie für eine belastbare Aussage brauchen, egal mit welchem Werkzeug. Wie Sie das aufsetzen, steht im Beitrag zur KI-Sichtbarkeit analysieren.

Wenn Sie unsicher sind: Beginnen Sie mit der offenen Variante für Such-Bots, sperren Sie nur, was Sie begründen können, und dokumentieren Sie die Entscheidung. Eine spätere Lockerung ist einfacher als das Rückgängigmachen eines bereits erfolgten Abrufs.

Fallbeispiele: Wer sperrt aus welchem Grund

Die Entscheidung fällt je nach Geschäftsmodell unterschiedlich aus. Die folgenden Beispiele sind Denkmodelle, keine Fallstudien mit echten Zahlen.

Das Fachportal mit Bezahlschranke. Der Betreiber verkauft Analysen. Frei zugänglich sind nur Teaser. Hier ist die Sperre des Trainings-Bots naheliegend, die Such-Bots dürfen die Teaser lesen, denn Nennungen mit Link auf das Angebot sind erwünscht.

Das Handwerksunternehmen mit Standortseite. Die Seite enthält Leistungen, Einzugsgebiet, Referenzen und Kontakt. Hier gibt es wenig, was nicht öffentlich sein soll, und viel zu gewinnen, wenn Assistenten die Firma bei Anfragen nennen können. Die offene Variante ist plausibel. Wie das regional aussieht, beschreibt der Beitrag zu KI-Sichtbarkeit in Mannheim.

Die Agentur mit eigenem Wissensblog. Hier ist die Abwägung am schwierigsten: Der Blog ist Marketing und zugleich geistiges Eigentum. Viele entscheiden sich für “Training aus, Suche an” und messen danach, ob sich die Nennungen verändern.

Was Sie vor der Umsetzung klären sollten

Sprechen Sie mit Ihrer Rechtsberatung über Nutzungsvorbehalte. Ob und wie sich ein maschinenlesbarer Vorbehalt auswirkt, ist eine juristische Frage, die dieser Artikel nicht beantworten kann. Praktisch relevant ist, dass Sie Ihre Entscheidung nachvollziehbar festhalten und die robots.txt als Teil Ihrer Website-Dokumentation behandeln.

Sperren Sie nicht aus Gewohnheit

Eine häufige Quelle für ungewollte Sperren sind Hoster-Vorlagen und Sicherheits-Plugins, die KI-Bots als Gruppe auf eine Blockliste setzen. Wer seine Datei nicht selbst geschrieben hat, sollte sie lesen. Mit dem AI Crawler Checker geht das in Sekunden; wie die Prüfung abläuft und was sie nicht leisten kann, steht im Beitrag KI-Crawler im Überblick. Danach können Sie bewusst sperren oder öffnen, statt von einer Vorlage überrascht zu werden.

Als Faustregel: Sperren Sie nur, wenn Sie den Grund in einem Satz nennen können, und prüfen Sie die Wirkung nach zwei bis vier Wochen in den Logs. Ändern Sie nicht gleichzeitig Inhalte, robots.txt und CDN-Regeln, sonst wissen Sie hinterher nicht, was gewirkt hat.