Google-Extended in der robots.txt: was es steuert, was nicht

Google-Extended ist ein Token für die robots.txt, mit dem Website-Betreiber laut Google steuern, ob ihre Inhalte für bestimmte KI-Anwendungen von Google genutzt werden dürfen, etwa für Gemini. Es ist kein eigener Bot und verändert nach Googles Dokumentation weder die Aufnahme in die Suche noch das Ranking. Wer Sichtbarkeit in der Suche behalten will, sperrt damit nichts, was dort zählt.

Was Google-Extended ist, und was nicht

In der Übersicht der Google-Crawler führt Google Google-Extended als eigenen Eintrag. Anders als Googlebot ist es kein Programm, das Seiten abruft, sondern ein Token, das Ihre Präferenz ausdrückt. Der Abruf läuft über die bekannten Google-Crawler, die Nutzung der Inhalte regelt das Token. Die genaue Formulierung zum Geltungsbereich ändert Google gelegentlich, lesen Sie sie deshalb im Original.

Das ist eine wichtige Unterscheidung für Ihre Planung. Wenn Sie “Google sperren” im Kopf haben, denken Sie wahrscheinlich an Googlebot. Der würde Sie aus der Suche entfernen. Google-Extended berührt diese Ebene laut Dokumentation nicht.

Token oder Bot	Rolle	Folge einer Sperre
Googlebot	Crawler der Google-Suche	Seiten verschwinden mit der Zeit aus der Suche
Google-Extended	Token für KI-Nutzung, etwa Gemini	Inhalte sollen für diese Zwecke nicht genutzt werden
Applebot-Extended	Token von Apple für KI-Nutzung	Analoges Prinzip bei Apple

Applebot-Extended führt auch der KI-Crawler-Identifier von BusinessMCP als Token und nicht als Crawler auf. Dasselbe gilt dort für Google-Extended.

Beispiel: Gemini-Nutzung ausschließen, Suche behalten

Eine einfache Regel sieht so aus:

User-agent: Google-Extended
Disallow: /

User-agent: Googlebot
Allow: /

Die zweite Gruppe ist nicht zwingend, macht aber die Absicht lesbar. Wichtig bleibt die Reihenfolge Ihrer Überlegung: Erst festlegen, was Sie wollen, dann die Zeile schreiben. Die Syntax folgt dem Robots Exclusion Protocol, das freiwillige Befolgung voraussetzt.

Key takeaway: Google-Extended ist ein Schalter für KI-Nutzung, kein Schalter für die Google-Suche. Verwechseln Sie ihn nicht mit Googlebot.

Und die AI Overviews?

Hier herrscht die größte Verwirrung. Viele nehmen an, mit Google-Extended ließen sich AI Overviews ausschalten. Die Seite KI-Funktionen und Ihre Website beschreibt aus Sicht von Google, wie Inhalte in diesen Funktionen erscheinen und welche Steuerungen es gibt. Dort geht es vor allem um die üblichen Mechanismen der Suche, etwa Snippet-Einstellungen und noindex. Wenn Sie in AI Overviews vorkommen wollen oder genau das vermeiden möchten, sind diese Hinweise die richtige Quelle, nicht eine Vermutung zu einem Token.

Praktisch heißt das: Möchten Sie in der Google-KI sichtbar sein, bleibt der normale Weg gute, zugängliche Inhalte, die für die Suche indexiert werden. Vertiefende Hinweise zu den Overviews liefert BusinessMCP im Leitfaden AI Overviews optimieren. Wir haben ihn nicht im Detail geprüft, nutzen Sie ihn als Ergänzung zur Google-Dokumentation und nicht als Ersatz.

Entscheidung in vier Schritten

1. Ziel klären. Wollen Sie nur das Training und die Nutzung durch Gemini ausschließen, oder auch Sichtbarkeit in KI-Funktionen der Suche vermeiden?
2. Token wählen. Für den ersten Fall ist Google-Extended das passende Werkzeug laut Dokumentation. Für den zweiten Fall gelten die Snippet- und Indexierungs-Steuerungen der Suche.
3. Folgen festhalten. Notieren Sie, was Sie damit bewusst in Kauf nehmen.
4. Prüfen. Kontrollieren Sie die Datei mit einem Checker, zum Beispiel dem AI Crawler Checker. Laut Anbieter zeigt er, welche KI-Crawler Ihre robots.txt zulässt. Ob er jedes Token berücksichtigt, prüfen Sie am besten mit Ihrer eigenen Datei.

Zusammenspiel mit den anderen Bots

Google-Extended steht in der Praxis neben den Regeln für OpenAI, Anthropic und Perplexity. Wer alle Anbieter einheitlich behandeln will, sollte eine gemeinsame Strategie festlegen und dann jede Gruppe sauber schreiben. Eine Vorlage dazu finden Sie unter robots.txt für KI-Crawler. Für die OpenAI-Seite empfehlen wir den Beitrag zu OAI-SearchBot und ChatGPT-User.

Eine konsistente Linie

Es wirkt unglaubwürdig, wenn eine Seite OpenAI sperrt, Google aber offen lässt, ohne dass es dafür einen Grund gäbe. Das kann sinnvoll sein, etwa weil Sie in der Google-Suche ohnehin präsent sein müssen. Entscheidend ist, dass Sie die Linie erklären können. Schreiben Sie eine Zeile ins Dokumentationsblatt: “Wir lassen X zu, weil Y. Wir sperren Z, weil W.”

Was sich ändern kann

Google erweitert und überarbeitet seine Dokumentation zu Crawlern und KI-Funktionen. Ein Beitrag wie dieser kann deshalb veraltet sein, wenn Sie ihn Monate später lesen. Der Reflex sollte deshalb sein: Token-Namen und Wirkungen im Original nachlesen, bevor Sie Regeln ändern. Das kostet zwei Minuten und verhindert, dass Sie eine Sperre bauen, die nicht tut, was Sie meinen.

Messen, ob es etwas bewirkt

Nach einer Änderung sehen Sie in den Server-Logs vor allem Googlebot, nicht das Token, denn ein Token ruft nichts ab. Die Wirkung von Google-Extended lässt sich deshalb nicht in Logs nachweisen. Sie müssen der Dokumentation vertrauen. Anders bei den Bots, die selbst abrufen: Wie Sie diese auswerten, steht in der Logfile-Analyse für KI-Crawler. Und ob Ihre Marke in KI-Antworten vorkommt, prüfen Sie getrennt, etwa mit dem KI-Sichtbarkeits-Tracking von BusinessMCP, das laut Anbieter im Tarif Growth für 79 US-Dollar monatlich Google AI Overviews und Gemini abdeckt.

Typische Missverständnisse

“Mit Google-Extended verschwinde ich aus Gemini.” Das Token drückt eine Präferenz zur Nutzung von Inhalten aus. Ob Gemini Ihre Marke aus anderen Quellen kennt oder nennt, steuert es nicht. Modelle kennen Unternehmen auch aus Verzeichnissen, Presse und anderen Seiten.

“Wenn ich es nicht sperre, bin ich automatisch drin.” Auch das stimmt nicht. Eine Nutzung erlaubt zu haben heißt nicht, genannt zu werden. Sichtbarkeit entsteht aus Inhalt und Quellenlage.

“Es ist ein Sicherheitsmerkmal.” Nein, es ist eine Erklärung Ihrer Präferenz, wie jede robots.txt-Zeile eine freiwillige Regel nach dem Protokoll. Sensible Inhalte gehören hinter einen Login.

“Einmal gesetzt, nie wieder anfassen.” Dokumentationen ändern sich. Prüfen Sie quartalsweise, ob Namen und Wirkungen noch stimmen.

Mini-Checkliste

• Ziel in einem Satz festgehalten (Nutzung ausschließen, ja oder nein)?
• Token korrekt geschrieben, in eigener Gruppe, ohne Leerzeilen im Block?
• Googlebot nicht versehentlich gesperrt?
• Dokumentation mit Datum, Grund und Quelle abgelegt?
• Termin für die nächste Prüfung gesetzt?

Wenn Sie diese Punkte beantworten können, haben Sie die Entscheidung bewusst getroffen, und das ist der eigentliche Gewinn. Alles Weitere zur robots.txt-Struktur finden Sie im Beitrag robots.txt für KI-Crawler.