robots.txt richtig konfigurieren

Es ist wieder Freitag – und im SEO-Business heißt das: Die Kaffeetasse ist gefüllt, der Laptop klappert und Google hat schon wieder irgendetwas umgebaut. Diese Woche zum Beispiel: Der Rollout des August-2026-Spam-Updates läuft seit Anfang der Woche und die einen räumen gerade ihre Rankings auf, während die anderen nur ratlos auf den Screenshot ihres Rank Trackers starren. Und weil Google parallel auch seine Crawl-Budget-Dokumentation aufpoliert hat (klarer, konsistenter, weniger Verwirrung – danke dafür, Gary!), ist heute der perfekte Tag für ein Thema, das jeder zu kennen glaubt und die meisten trotzdem vermurksen: die robots.txt.

Klingt langweilig? Ist es nicht. Die robots.txt ist das Türschild deiner Website. Und wie jeder gute Türsteher weiß: Wer einfach alle reinlässt, bekommt irgendwann Ärger – und wer die Tür zumauert, fragt sich, warum plötzlich niemand mehr kommt. Seit 2026 ist die Kunst, dieses Türschild richtig zu beschriften, übrigens noch mal deutlich spannender geworden. Denn inzwischen klingelt nicht mehr nur der Googlebot an deiner Tür. Es stehen GPTBot, ClaudeBot, PerplexityBot, OAI-SearchBot und eine kleine, ewig wachsende Armee von KI-Crawlern davor – und die wollen alle ins Wohnzimmer.

Was ist eine robots.txt überhaupt?

Ganz kurz für die Menschen im Raum, die sich gerade fragen, wovon ich rede: Die robots.txt ist eine schlichte Textdatei, die im Wurzelverzeichnis deiner Domain liegt – also zum Beispiel unter https://deine-domain.de/robots.txt. Sie sagt Crawlern auf eine uralte, fast poetisch simple Art, welche Pfade sie besuchen dürfen und welche nicht. Sie ist kein Gesetz, sondern eher eine Empfehlung: Ein seriöser Crawler hält sich daran. Ein bösartiger Scraper? Der klingelt nicht mal, der tritt einfach die Tür ein. Aber für alles, was dazwischenliegt – und dazu gehört der Großteil der Suchmaschinen und KI-Bots – ist die robots.txt der digitale Handschlag.

Das Protokoll selbst stammt aus dem Jahr 1994. Zwei Jahrzehnte später, 2022, wurde die Spezifikation als RFC 9309 standardisiert. Seitdem gibt es endlich Klarheit über die Regeln – inklusive Wildcards wie * und $, den Sitemap:-Hinweis und die Crawl-delay:-Direktive (die Google übrigens ignoriert, aber dazu gleich mehr).

Die Anatomie einer guten robots.txt

Fangen wir mit dem Grundgerüst an. So sieht eine saubere, moderne robots.txt für eine typische Website aus:

User-agent: *
Allow: /
Sitemap: https://deine-domain.de/sitemap.xml

Das ist alles. Wirklich alles. Für viele Websites braucht es nicht mehr. Keine hundert Zeilen voller Disallow-Anweisungen, kein wildes Blockieren von CSS- und JS-Dateien (bittet nicht machen, das schadet euch selbst!), keine Angst-getriebene Abschottung. Der Inhalt dieser Datei sollte so sein wie ein guter Witz: kurz, präzise und nicht wiederholbar.

Der Wichtigste Grundsatz zuerst, für alle, die es noch nicht gehört haben: „Disallow“ ist für Seiten, die nicht gecrawlt werden sollen – nicht für Seiten, die nicht indexiert werden sollen. Wenn du eine Seite nicht in der Suche haben willst, dann brauchst du noindex, das X-Robots-Tag oder eine richtige Anmeldung hinter Login. Die robots.txt verhindert nur das Crawlen. Und wenn Google eine URL nicht crawlen darf, aber andere Websites drauf verlinken, kann sie trotzdem indexiert werden – nur eben ohne dass Google den Inhalt sieht. Klassischer Anfängerfehler, große Auswirkungen.

Die drei Säulen: Allgemein, Google, alles andere

Eine robuste robots.txt im Jahr 2026 besteht oft aus drei Blöcken:

1. Ein genereller Block für den Googlebot und alle sonstigen Crawler, die keine eigenen Regeln brauchen.
2. Ein Google-spezifischer Block – inklusive Google-Extended, damit ihr selbst entscheidet, ob Google eure Inhalte für das KI-Training in Gemini verwenden darf.
3. Ein KI-Block für alle AI-Crawler, die nicht bei Google sitzen.

Konkret sieht das dann so aus:

# Alle Bots: Standard-Zugriff
User-agent: *
Allow: /

# Google: alles erlauben, aber KI-Training deaktivieren
User-agent: Google-Extended
Disallow: /

# KI-Crawler blockieren – GPTBot & Co.
User-agent: GPTBot
User-agent: OAI-SearchBot
User-agent: ClaudeBot
User-agent: anthropic-ai
User-agent: Claude-Web
User-agent: PerplexityBot
User-agent: CCBot
User-agent: meta-externalagent
Disallow: /

Sitemap: https://deine-domain.de/sitemap.xml

KI-Crawler: Die neue Liga im Blocking-Spiel

Und hier kommen wir zum eigentlichen Thema dieser Woche. Während ihr vor drei Jahren höchstens darüber nachgedacht habt, ob ihr den Bingbot auf der Test-Umgebung wegsperrt, müsst ihr heute eine echte Strategiefrage beantworten: Wollt ihr eure Inhalte von KI-Systemen lesen lassen – und wenn ja, von welchen?

Der Markt hat sich dabei schön aufgefächert. OpenAI betreibt nicht mehr nur GPTBot, sondern auch OAI-SearchBot für die ChatGPT-Suche. Blockt ihr GPTBot, könnt ihr weiterhin in der ChatGPT-Suche auftauchen. Blockt ihr beides, seid ihr dort unsichtbar – und bleibt auch vom Training ausgenommen. Anthropic hat mit ClaudeBot, Claude-Web und anthropic-ai drei Namen im Rennen, Meta schickt seine meta-externalagent ins Feld, und die großen deutschen Medienhäuser haben inzwischen großflächig dichtgemacht. Rund 60 Prozent der deutschen News-Sites blocken laut einer Auswertung aus dem Frühjahr 2026 die OpenAI-Crawler. Ihr steht also vor einer strategischen Grundsatzentscheidung – und das ist auch gut so.

Der pragmatische Mittelweg vieler Websites sieht so aus: Training blockieren, Suche erlauben. Schließlich freut sich fast jeder, wenn in einer Antwort von ChatGPT oder Perplexity auf seinen Artikel verlinkt wird – aber niemand möchte, dass sein redaktioneller Stolz zum Futter fürs Training ohne Gegenleistung wird.

# KI-Training ausnehmen, Suchindexierung erlauben
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: anthropic-ai
User-agent: CCBot
Disallow: /

# KI-Suchmaschinen dürfen weiter zugreifen
User-agent: OAI-SearchBot
User-agent: Claude-Web
User-agent: PerplexityBot
Allow: /

Ein kleiner Hinweis am Rande, damit niemand böse überrascht wird: Es gibt da draußen auch einen Haufen KI-Crawler, die sich einen Dreck um eure robots.txt scheren. Die SEO-Community spricht inzwischen ehrlich über Web Scraping als wachsendes Problem, und wenn ihr wirklich sensible Bereiche schützen wollt, ist die robots.txt der falsche Ort dafür. Dafür gibt es Firewalls, Bot-Management und – wenn ihr bei Cloudflare seid – das hat der Provider erst kürzlich wieder zum 15. September angekündigt: neue, automatische Regeln gegen Abo-Scraper und KI-Crawler. Also: robots.txt für die Höflichkeit, technische Maßnahmen für den Ernstfall.

Die klassischen Fehler – und wie ihr sie vermeidet

Jetzt wird es richtig unterhaltsam, denn jetzt geht es um die Fauxpas, die ich jede Woche in fremden robots.txt-Dateien finde. Bitte nicht nachmachen – oder nachmachen und mir später eine lustige E-Mail schreiben.

Fehler 1: Alles komplett blockieren

User-agent: *
Disallow: /

Glückwunsch! Deine Website ist jetzt offiziell für die ganze Welt unsichtbar. Nicht nur Google, auch alle anderen bleiben draußen. Sollte jemand in einer Release-Nacht so etwas „nur kurz testen“ haben und es vergessen haben – die Konsequenzen kennt jeder, der schon mal nach einem erfolgreichen Monat voller null organischem Traffic in die Datei geschaut hat.

Fehler 2: CSS und JavaScript blockieren

User-agent: *
Disallow: /*.css
Disallow: /*.js

Das ist der Evergreen unter den SEO-Sünden, der sich seit über einem Jahrzehnt hartnäckig hält. Google hat schon vor Ewigkeiten erklärt, dass es diese Dateien für das Rendering braucht – im Ernst: Habt ihr schon mal versucht, eine Webseite ohne Stylesheets zu lesen? Genau so sieht das auch für den Googlebot aus. Vor allem nach dem Umstieg auf Core Web Vitals und das Rendering-basierte Crawling ist das Blockieren von CSS und JS fast schon Selbstsabotage.

Fehler 3: noindex per robots.txt erzwingen wollen

Die robots.txt kennt kein noindex. Punkt. Das ist eine der ältesten Fehlinformationen im SEO-Universum. Wenn ihr eine Seite aus dem Index haben wollt, nutzt <meta name="robots" content="noindex"> oder ein HTTP-Header X-Robots-Tag: noindex. Sonst erlebt ihr das oben beschriebene Phänomen: Seite ohne Content in den Suchergebnissen.

Fehler 4: Großschreibung und Leerzeichen

Die Direktiven sind case-sensitiv. USER-AGENT: funktioniert nicht. Disallow : / (mit Leerzeichen vor dem Doppelpunkt) funktioniert nicht. Auch nach den Direktiven setzen viele fälschlich Leerzeichen. Genau genommen ist das Format Feldname: Wert – mit einem Doppelpunkt und genau einem Leerzeichen dahinter. Klingt pingelig, ist aber der Unterschied zwischen „läuft“ und „kryptischer Wochenend-Debugging-Marathon“.

Fehler 5: Die Datei ist kein Wörterbuch

Wer mehr als eine Handvoll Disallow-Zeilen hat, sollte sich ernsthaft fragen, ob hier nicht eine Struktur-Problematik besteht. Wenn ihr 50 Pfade blockt, liegt die wahre Lösung oft in einer besseren URL-Struktur, in noindex oder in der Suchanfrage „internal search results indexieren, aber richtig“. Die robots.txt sollte schlank bleiben – so wie eure Taille nach dem Urlaub. Versprochen.

Fortgeschritten: Wildcards und Feinschliff

Für die Profis unter euch noch ein bisschen Technik-Spielerei. Die Spezifikation aus RFC 9309 erlaubt Wildcards:

# Alle Seiten, die "tracking" im Pfad haben, blockieren
User-agent: *
Disallow: /*tracking*

# Alle Dateien am Ende der URL blockieren
User-agent: *
Disallow: /*.pdf$

Wichtig dabei: Das $ steht für das Ende der URL, das * für eine beliebige Zeichenfolge. Und nein – ihr müsst nicht jede einzelne Parameter-Kombination blocken, dafür gibt es in der Search Console die Parametervalidierung. Ein sauberes Disallow: /*?ref= erledigt das meist ebenso.

Und was ist mit Crawl-delay? Kurz gesagt: Yandex und ein paar andere lesen es, Google ignoriert es komplett. Wenn ihr das Crawl-Tempo beeinflussen wollt, nutzt bei Google die Search Console und für den Rest schreibt ihr die Bots höflich an. Ja, richtig gelesen – manchmal hilft es wirklich, die Google-Supportforen zu stöbern, statt in Panik zu verfallen.

Der richtige Umgang mit der Sitemap-Zeile

Fast hätte ich sie vergessen, die beste Freundin jeder robots.txt: die Sitemap:-Direktive. Google, Bing und auch die meisten anderen unterstützen den Verweis auf die XML-Sitemap direkt aus der robots.txt heraus. Das ist besonders praktisch für große Portale mit mehreren Sitemaps:

Sitemap: https://deine-domain.de/sitemap.xml
Sitemap: https://deine-domain.de/sitemap-news.xml

Achtet nur darauf, dass die URL absolut ist und zur HTTPS-Version passt – wer hier auf HTTP verlinkt, verschenkt wieder ein bisschen Vertrauen.

Wie ihr eure robots.txt prüft – und warum ihr es diese Woche noch tut

Und jetzt der wichtigste Teil des Artikels, denn Wissen ohne Handlung ist wie eine Sitemap ohne URLs: hübsch, aber nutzlos. Wenn das August-Spam-Update gerade ohnehin die Rankings durchschüttelt, ist der perfekte Zeitpunkt, auch die eigene robots.txt unter die Lupe zu nehmen.

• Öffnet die Datei: Einfach https://deine-domain.de/robots.txt im Browser aufrufen. Was ihr seht, sieht auch jeder Crawler.
• Testet sie: In der Google Search Console gibt es das Robots-Test-Tool – ihr gebt eine URL ein, und Google zeigt euch, ob und wie er sie crawlen würde. Inzwischen auch in der praktischen 4-Klick-Variante über den URL-Prüfer.
• Validiert die Syntax: Es gibt Online-Validator, die euch auf Tippfehler hinweisen. Ich sage es nur ungern, aber manchmal ist ein einfaches „robots.txt Validator“ im Browser besser als drei Stunden Forenrecherche.
• Prüft den Cache: Eine robots.txt, die euer CMS aus dem Speicher ausliefert, kann böse Überraschungen bereiten. Wenn ihr die Datei ändert, gebt ihr Zeit und lasst die Server nicht mit der alten Version antworten.

Der Cheat-Sheet – die perfekte Basis-robots.txt

Zum Abschluss gibt es noch das kleine Geschenk: die entspannte Standard-robots.txt für 2026. Kopieren, Domain anpassen, hochladen, fertig. Und dann diese Woche noch einen Kaffee trinken – das habt ihr euch verdient.

User-agent: *
Allow: /

# OpenAI: Training blockieren, Suche erlauben
User-agent: GPTBot
Disallow: /
User-agent: OAI-SearchBot
Allow: /

# Anthropic: Training blockieren, Suche erlauben
User-agent: ClaudeBot
User-agent: anthropic-ai
Disallow: /
User-agent: Claude-Web
Allow: /

# Perplexity erlauben
User-agent: PerplexityBot
Allow: /

# Google-Extended (KI-Training) deaktivieren
User-agent: Google-Extended
Disallow: /

# Sonstige KI-Scraper vorsorglich blockieren
User-agent: CCBot
User-agent: meta-externalagent
Disallow: /

Sitemap: https://deine-domain.de/sitemap.xml

Denkt daran: Die robots.txt ist kein Selbstzweck, sondern ein Werkzeug. Sie sollte eure Website nicht verstecken, sondern genau den Crawlern den roten Teppich ausrollen, die ihr gerne seht – und den anderen höflich, aber bestimmt die Tür weisen. Bei einem Roboter heißt das: Disallow: /. Und bei einem menschlichen Kollegen, der mal wieder an der Sitemap-Zeile rumfummelt, heißt das: ein verständnisvolles Lächeln und die Frage, ob er heute schon den September geplant hat.

Also: Testet heute noch eure Datei, blockt mit Bedacht und gönnt euch danach ein Stück Kuchen. Euer Googlebot und euer Koffeinhaushalt werden es euch danken. Bis Montag!