Die robots.txt ist eine Textdatei im Wurzelverzeichnis einer Website, die Crawlern mitteilt, welche Bereiche sie abrufen dürfen und welche nicht. Sie steuert das Crawling, nicht die Indexierung. Mit den Anweisungen User-agent, Disallow, Allow und Sitemap lenkst du Suchmaschinen und KI-Crawler gezielt. Falsch gesetzt, kann sie ganze Websites aus der Suche aussperren, weshalb Sorgfalt entscheidend ist.
Die robots.txt ist eine der ältesten und zugleich wirkungsvollsten Stellschrauben im technischen SEO. Sie ist winzig, steht im Wurzelverzeichnis jeder Website und entscheidet darüber, welche Crawler welche Bereiche betreten dürfen. Ein einziges falsches Zeichen kann eine Seite aus dem Index drängen. Dieser Leitfaden erklärt, was die robots.txt ist, wie sie aufgebaut ist, welche Anweisungen hineingehören, wie du KI-Crawler steuerst und welche Fehler du unbedingt vermeiden solltest.
Was ist die robots.txt?
Die robots.txt ist eine einfache Textdatei im Wurzelverzeichnis einer Website, die Suchmaschinen und anderen Crawlern Regeln für den Zugriff vorgibt. Sie folgt dem Robots Exclusion Standard und teilt jedem Bot mit, welche Pfade er crawlen darf und welche er meiden soll.
Jede Website kann genau eine robots.txt besitzen, erreichbar unter der festen Adresse der Domain mit dem Zusatz robots.txt. Crawler rufen diese Datei als Erstes ab, bevor sie eine Seite besuchen. Sie ist damit die erste Anlaufstelle und der wichtigste Hinweisgeber für das Verhalten von Bots auf einer Domain.
Steuert die robots.txt das Crawling oder die Indexierung?
Die robots.txt steuert ausschließlich das Crawling, nicht die Indexierung. Sie verhindert, dass ein Bot eine Seite abruft, kann aber nicht zuverlässig verhindern, dass eine bereits bekannte URL im Index erscheint. Wer eine Seite aus dem Index halten will, nutzt stattdessen die noindex-Anweisung.
Eine per Disallow gesperrte Seite kann trotzdem in den Suchergebnissen auftauchen, wenn andere Seiten auf sie verlinken. Da der Crawler die Seite nicht lesen darf, fehlt nur die Beschreibung. Wer eine URL sicher aus dem Index halten will, darf sie nicht per robots.txt sperren, sondern muss sie crawlen lassen und mit noindex auszeichnen.
Wie ist eine robots.txt aufgebaut?
Eine robots.txt besteht aus Regelblöcken. Jeder Block beginnt mit User-agent, der den angesprochenen Crawler benennt, gefolgt von Disallow- und Allow-Zeilen für gesperrte und erlaubte Pfade. Am Ende verweist die Sitemap-Zeile auf die XML-Sitemap der Website.
| Anweisung | Funktion | Beispielwert |
|---|---|---|
| User-agent | Benennt den Crawler, für den die Regeln gelten | * für alle Bots |
| Disallow | Sperrt einen Pfad für das Crawling | /wp-admin/ |
| Allow | Erlaubt einen Pfad trotz übergeordneter Sperre | /wp-admin/admin-ajax.php |
| Sitemap | Verweist auf die XML-Sitemap | vollständige Sitemap-URL |
Wie sieht eine typische robots.txt aus?
Eine typische robots.txt für eine WordPress-Website erlaubt allen Crawlern den Zugriff, sperrt den Administrationsbereich, gibt aber die für das Frontend nötige Ajax-Datei frei und verweist auf die Sitemap. Dieser schlanke Aufbau deckt die meisten Standardfälle sicher ab.
Beispiel einer robots.txt
Schlanke Standardkonfiguration für WordPress
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
# Verweis auf die Sitemap
Sitemap: https://deine-domain.de/sitemap_index.xml
Wichtig ist die Schreibweise auf den Punkt genau. Jede Anweisung steht in einer eigenen Zeile, Groß- und Kleinschreibung der Pfade wird beachtet, und ein einzelnes falsches Zeichen kann die Wirkung umkehren.
Wie steuerst du KI-Crawler über die robots.txt?
KI-Crawler steuerst du, indem du ihren spezifischen User-agent ansprichst und per Disallow oder Allow regelst. Jeder große Anbieter nutzt einen eigenen Bot-Namen, etwa für das Training oder das Abrufen von Inhalten. So entscheidest du gezielt, welche KI-Systeme deine Inhalte verwenden dürfen.
Ob du KI-Crawler zulässt, ist eine strategische Entscheidung. Wer in KI-Antworten sichtbar sein will, lässt die abrufenden Bots zu. Wer die Nutzung der eigenen Inhalte für das Modelltraining einschränken möchte, sperrt die entsprechenden Trainings-Crawler gezielt. Welche Bots welchem Zweck dienen und wie du sie eindeutig identifizierst, vertieft der Beitrag zu LLM-Crawlern wie GPTBot und ClaudeBot.
Welche Fehler in der robots.txt kosten Sichtbarkeit?
Die folgenschwersten Fehler sind ein versehentliches Disallow auf die gesamte Website, das Sperren von CSS- und JavaScript-Dateien, der Versuch, mit der robots.txt eine Indexierung zu verhindern, und eine falsch platzierte Datei. Jeder dieser Fehler kann Rankings massiv schädigen.
- Komplettsperre: Ein Disallow mit einem einzelnen Schrägstrich sperrt die gesamte Website und entzieht sie dem Crawling.
- Blockierte Ressourcen: Werden CSS- und JavaScript-Dateien gesperrt, kann Google die Seite nicht korrekt rendern und bewerten.
- Falsches Werkzeug: Wer eine Seite aus dem Index halten will, braucht noindex, nicht Disallow. Die robots.txt erreicht das Ziel nicht zuverlässig.
- Falscher Speicherort: Liegt die Datei nicht im Wurzelverzeichnis, wird sie ignoriert und alle Regeln verpuffen.
- Die robots.txt liegt im Wurzelverzeichnis und steuert den Zugriff von Crawlern.
- Sie regelt das Crawling, nicht die Indexierung. Dafür ist noindex zuständig.
- Die Kernanweisungen sind User-agent, Disallow, Allow und Sitemap.
- KI-Crawler lassen sich über ihren eigenen User-agent gezielt zulassen oder sperren.
- Ein einzelnes falsches Zeichen kann eine ganze Website aus der Suche aussperren.
- CSS- und JavaScript-Dateien dürfen niemals pauschal gesperrt werden.
Häufige Fragen zur robots.txt
Braucht jede Website eine robots.txt?
Nicht zwingend. Fehlt die Datei, dürfen Crawler standardmäßig alles abrufen. Eine robots.txt ist dennoch sinnvoll, um den Administrationsbereich zu schützen, auf die Sitemap zu verweisen und das Crawling unwichtiger Bereiche zu steuern.
Wo finde ich die robots.txt meiner Website?
Sie ist immer unter der Domain mit dem angehängten Pfad robots.txt erreichbar. Gibst du diese Adresse im Browser ein, siehst du den aktuellen Inhalt. So prüfst du schnell, welche Regeln gerade aktiv sind.
Kann ich mit der robots.txt KI-Training verhindern?
Du kannst die bekannten Trainings-Crawler per User-agent sperren. Das ist ein wirksames Signal, beruht aber auf der freiwilligen Beachtung durch die Anbieter. Eine technische Garantie gegen jede Form der Nutzung bietet die robots.txt nicht.
Quellen und weiterführende Literatur
- Google Search Central: Einführung in robots.txt und Crawler-Steuerung, 2025
- Google Search Central: So erstellen und übermitteln Sie eine robots.txt-Datei, 2025
- robotstxt.org: The Robots Exclusion Protocol, 2024
Dieser Beitrag wurde redaktionell erstellt und nach bestem Wissen recherchiert. Er ersetzt keine individuelle Beratung.
Seit 2014 baut Levent organische Sichtbarkeit für Marken auf. Heute mit Fokus auf Generative Engine Optimization, Brand-Mentions in ChatGPT, Gemini und Perplexity sowie redaktionelle Citation-Strategien. Operativ verantwortet er ein Portfolio von 165 WordPress-Sites.