Kontakt
Was interessiert Sie?
robots.txt.
Die robots.txt ist eine Textdatei im Web-Root, die Suchmaschinen-Crawlern mitteilt, welche Bereiche einer Website sie aufrufen dürfen und welche nicht. Sie steuert das Crawling — nicht direkt die Indexierung.
robots.txt — ausführlich erklärt
Die robots.txt liegt unter /robots.txt im Wurzelverzeichnis und ist das Erste, was ein seriöser Crawler beim Besuch abruft. Über Direktiven wie User-agent, Disallow und Allow legt sie fest, welche Pfade ein bestimmter Bot besuchen darf. Häufig verweist sie am Ende per Sitemap-Zeile auf die XML-Sitemap.
Ein wichtiger Fallstrick: robots.txt verhindert das Crawlen, nicht zwingend das Indexieren. Eine per Disallow gesperrte, aber von aussen verlinkte Seite kann trotzdem — ohne Snippet — im Index landen. Wer eine Seite sicher aus den Suchergebnissen halten will, nutzt stattdessen das Meta-Robots-Tag «noindex» oder Passwortschutz.
Typische Anwendung: Ein Shop sperrt den Warenkorb, interne Suchergebnisse oder Admin-Bereiche vom Crawling aus, damit Google sein Crawl-Budget auf die wichtigen Produkt- und Kategorieseiten konzentriert. Beispiel: «User-agent: *» gefolgt von «Disallow: /warenkorb/» blockiert alle Bots für diesen Pfad.
Die Datei sollte sparsam und mit Bedacht eingesetzt werden: Ein falsch gesetztes «Disallow: /» kann versehentlich die ganze Website vom Crawling ausschliessen. Nach jeder Änderung lohnt sich ein Test, etwa über den robots.txt-Bericht der Google Search Console.
Weiterführende Seite
XML-SitemapHäufige Fragen zu robots.txt
Nein, nicht zuverlässig. robots.txt verhindert das Crawlen einer Seite, aber eine extern verlinkte, gesperrte URL kann trotzdem ohne Inhaltsvorschau im Index erscheinen. Um eine Seite sicher aus den Suchergebnissen zu halten, verwendet man das Meta-Tag «noindex» oder einen Passwortschutz — und lässt die Seite dafür crawlbar, damit das noindex gelesen wird.
Zwingend nötig ist sie nicht — fehlt sie, dürfen Crawler grundsätzlich alles besuchen. Empfehlenswert ist sie trotzdem: Sie steuert das Crawl-Budget, hält unwichtige Bereiche fern und verweist per Sitemap-Zeile auf die XML-Sitemap. Schon eine schlanke, korrekte robots.txt gehört zum technischen SEO-Standard.
Weitere Begriffe mit „R“
ROAS (Return on Ad Spend)
ROAS (Return on Ad Spend) misst den Umsatz pro investiertem Werbe-Franken. Formel: Umsatz ÷ Werbeaus...
Responsive Design
Responsive Design bedeutet, dass sich eine Website automatisch an die Bildschirmgrösse des Geräts an...
RAG (Retrieval-Augmented Generation)
RAG ist eine KI-Architektur, die Large Language Models mit externen Datenquellen verbindet. Statt nu...
Bereit für Ihr Projekt?
Wenden Sie dieses Wissen auf Ihre Website an — DLM Digital hilft Ihnen dabei.