Contact
What are you interested in?
robots.txt.
Die robots.txt ist eine Textdatei im Web-Root, die Suchmaschinen-Crawlern mitteilt, welche Bereiche einer Website sie aufrufen dürfen und welche nicht. Sie steuert das Crawling — nicht direkt die Indexierung.
robots.txt — Explained in Detail
Die robots.txt liegt unter /robots.txt im Wurzelverzeichnis und ist das Erste, was ein seriöser Crawler beim Besuch abruft. Über Direktiven wie User-agent, Disallow und Allow legt sie fest, welche Pfade ein bestimmter Bot besuchen darf. Häufig verweist sie am Ende per Sitemap-Zeile auf die XML-Sitemap.
Ein wichtiger Fallstrick: robots.txt verhindert das Crawlen, nicht zwingend das Indexieren. Eine per Disallow gesperrte, aber von aussen verlinkte Seite kann trotzdem — ohne Snippet — im Index landen. Wer eine Seite sicher aus den Suchergebnissen halten will, nutzt stattdessen das Meta-Robots-Tag «noindex» oder Passwortschutz.
Typische Anwendung: Ein Shop sperrt den Warenkorb, interne Suchergebnisse oder Admin-Bereiche vom Crawling aus, damit Google sein Crawl-Budget auf die wichtigen Produkt- und Kategorieseiten konzentriert. Beispiel: «User-agent: *» gefolgt von «Disallow: /warenkorb/» blockiert alle Bots für diesen Pfad.
Die Datei sollte sparsam und mit Bedacht eingesetzt werden: Ein falsch gesetztes «Disallow: /» kann versehentlich die ganze Website vom Crawling ausschliessen. Nach jeder Änderung lohnt sich ein Test, etwa über den robots.txt-Bericht der Google Search Console.
Related Page
XML-SitemapFrequently Asked Questions About robots.txt
Nein, nicht zuverlässig. robots.txt verhindert das Crawlen einer Seite, aber eine extern verlinkte, gesperrte URL kann trotzdem ohne Inhaltsvorschau im Index erscheinen. Um eine Seite sicher aus den Suchergebnissen zu halten, verwendet man das Meta-Tag «noindex» oder einen Passwortschutz — und lässt die Seite dafür crawlbar, damit das noindex gelesen wird.
Zwingend nötig ist sie nicht — fehlt sie, dürfen Crawler grundsätzlich alles besuchen. Empfehlenswert ist sie trotzdem: Sie steuert das Crawl-Budget, hält unwichtige Bereiche fern und verweist per Sitemap-Zeile auf die XML-Sitemap. Schon eine schlanke, korrekte robots.txt gehört zum technischen SEO-Standard.
More Terms Starting with "R"
ROAS (Return on Ad Spend)
ROAS (Return on Ad Spend) measures revenue per advertising franc invested. Formula: Revenue ÷ Ad Spe...
Responsive Design
Responsive design means that a website automatically adapts to the screen size of the device — deskt...
RAG (Retrieval-Augmented Generation)
RAG is an AI architecture that connects Large Language Models with external data sources. Instead of...
Ready for Your Project?
Apply this knowledge to your website — DLM Digital will help you.