Robots.txt-Generator
robots.txt für Suchmaschinen-Crawler erstellen.
Wofür wird robots.txt verwendet?
Die robots.txt liegt im Root-Verzeichnis einer Domain (z. B. beispiel.de/robots.txt) und teilt Suchmaschinen-Crawlern mit, welche Bereiche der Website sie durchsuchen dürfen. Ein Verweis auf die Sitemap hilft Suchmaschinen zusätzlich beim Auffinden aller Seiten.
Beispiel: Komplette Website freigeben
"Alles erlauben" erzeugt User-agent: * gefolgt von Allow: / – Crawler dürfen dann die komplette Website durchsuchen.
Zweites Beispiel: Admin- und Warenkorb-Bereiche sperren
Bei "Benutzerdefiniert" mit Pfaden wie /admin/, /warenkorb/ und /suche/ entsteht für jeden Pfad eine eigene Disallow:-Zeile unter User-agent: * – der Rest der Website bleibt crawlbar, nur diese Bereiche werden vom Crawling ausgeschlossen.
Wann brauchst du den robots.txt-Generator?
Typisch ist der Einsatz direkt nach dem Aufsetzen einer neuen Website, beim Sperren von internen Suchergebnis- oder Filterseiten, die sonst massenhaft ähnliche URLs erzeugen, oder nach einem CMS-Wechsel, wenn die alte robots.txt nicht mehr zur neuen Ordnerstruktur passt.
Gut zu wissen
Ein häufiger Fehler: Nach einem Relaunch bleibt versehentlich eine robots.txt mit Disallow: / aus der Testphase online und sperrt die komplette Website für Suchmaschinen. Nach jeder Änderung lohnt sich ein kurzer Blick in die Live-Datei unter beispiel.de/robots.txt, um das auszuschließen.
Häufige Fragen
Verhindert robots.txt, dass eine Seite indexiert wird?
Nicht zuverlässig – robots.txt steuert nur das Crawlen. Für einen sicheren Ausschluss aus der Suche ist ein noindex-Meta-Tag auf der jeweiligen Seite die bessere Wahl.
Wo muss die robots.txt liegen?
Immer im Root-Verzeichnis der Domain, also unter beispiel.de/robots.txt – an anderer Stelle wird sie von Crawlern nicht gefunden.
Sollte ich die Sitemap-URL angeben?
Ja, das ist eine übliche und hilfreiche Praxis, damit Suchmaschinen die Sitemap direkt finden, statt sie separat suchen zu müssen.
Kann ich einzelne Crawler wie den Google-Bot gesondert ansprechen?
Ja, dafür trägt man statt User-agent: * den konkreten Bot-Namen ein, etwa Googlebot, und kann darunter eigene Regeln nur für diesen Crawler definieren – dieser Generator erzeugt allerdings nur eine gemeinsame Regel für alle Crawler.
Was passiert, wenn gar keine robots.txt vorhanden ist?
Die meisten Crawler gehen dann davon aus, dass sie die komplette Website durchsuchen dürfen – eine fehlende Datei wirkt also ähnlich wie "Alles erlauben", ist aber weniger explizit dokumentiert.