Was ist robots.txt?
Die robots.txt ist eine einfache Textdatei im Hauptverzeichnis deiner Website (erreichbar unter domain.de/robots.txt). Sie gibt Suchmaschinen-Crawlern Anweisungen, welche Bereiche der Website sie besuchen dürfen und welche nicht. Die Datei folgt dem Robots Exclusion Protocol, einem Standard, den alle großen Suchmaschinen respektieren. Wichtig: Robots.txt ist eine Empfehlung, keine Sicherheitsmaßnahme – bösartige Crawler können sie ignorieren.
Die wichtigsten Direktiven
User-agent definiert, für welchen Crawler die folgenden Regeln gelten (z.B. Googlebot, Bingbot oder * für alle). Disallow blockiert einen Pfad vom Crawling (z.B. Disallow: /admin/). Allow erlaubt explizit einen Pfad, auch wenn ein übergeordneter blockiert ist. Sitemap verweist auf die XML-Sitemap der Website. Crawl-delay (nicht von Google unterstützt) setzt eine Verzögerung zwischen Anfragen.
Typische Anwendungsfälle
Sinnvoll blockiert werden: Admin-Bereiche (/wp-admin/), interne Suchergebnisse (/search/), Warenkorb und Checkout (/cart/, /checkout/), temporäre oder Testseiten, doppelte Inhalte durch Filter oder Sortierung, und API-Endpunkte. Nicht blockieren solltest du: CSS/JS-Dateien (Google braucht sie fürs Rendering), Bilder (außer du willst sie wirklich verstecken), wichtige Inhaltsseiten.
Robots.txt für WordPress
Eine typische WordPress robots.txt blockiert /wp-admin/ (aber erlaubt /wp-admin/admin-ajax.php), /wp-includes/, Suchergebnisse (/search/) und Tag-Archive. Die Sitemap wird mit Sitemap: https://example.com/sitemap_index.xml eingebunden. Plugins wie Yoast SEO erstellen die robots.txt automatisch, du kannst sie aber auch manuell im Hauptverzeichnis anlegen.
Testen und Validieren
Nach dem Erstellen solltest du die robots.txt testen. Google Search Console bietet einen Robots.txt-Tester, mit dem du prüfen kannst, ob bestimmte URLs blockiert oder erlaubt sind. Häufige Fehler: Leerzeichen vor Disallow, falsche Groß/Kleinschreibung bei Pfaden, oder versehentliches Blockieren wichtiger Ressourcen. Fehler in der robots.txt können dazu führen, dass Google wichtige Seiten nicht findet.