Googlebot (Crawler).

Der Googlebot ist der Webcrawler von Google: ein automatisches Programm, das Webseiten abruft, Links folgt und Inhalte für den Google-Index erfasst. Ein Crawler (auch Bot oder Spider) ist allgemein jedes Programm, das Websites systematisch durchsucht. Ohne Besuch des Googlebots kann eine Seite nicht in den Google-Suchergebnissen erscheinen.

Googlebot (Crawler) — ausführlich erklärt

Ein Crawler arbeitet wie ein unermüdlicher Besucher. Er beginnt bei bekannten Adressen, ruft die Seite ab, liest alle Links darauf und fügt neue Adressen zu seiner Warteschlange hinzu. So entdeckt er nach und nach neue und geänderte Seiten. Google betreibt dafür mehrere Crawler; der wichtigste ist Googlebot Smartphone, weil Google Websites seit der Umstellung auf den Mobile-First-Index aus Sicht eines Smartphones bewertet.

Nach dem Abruf folgt bei Google das Rendering: Der Web Rendering Service führt die Seite in einer aktuellen Chromium-Version aus, inklusive JavaScript, um den endgültigen Inhalt zu sehen. Dieser Schritt kann zeitversetzt passieren. Inhalte, die erst nach Klicks, beim Scrollen oder nach einer Anmeldung erscheinen, sieht der Googlebot in der Regel nicht. Was er sieht, wird analysiert und, wenn nichts dagegen spricht, indexiert.

Website-Betreiber können das Crawling steuern. Die robots.txt legt fest, welche Bereiche nicht abgerufen werden sollen; die Anweisung noindex im Meta-Robots-Tag oder im HTTP-Header verhindert die Aufnahme in den Index; die XML-Sitemap listet die wichtigen URLs. Wichtig ist der Unterschied: Eine in der robots.txt gesperrte Seite kann trotzdem im Index erscheinen, wenn andere Seiten darauf verlinken, und eine noindex-Anweisung wirkt nur, wenn der Crawler die Seite abrufen darf.

Neben Google besuchen viele weitere Crawler eine Website: Bingbot von Microsoft, Crawler von SEO-Tools und zunehmend KI-Crawler wie GPTBot oder PerplexityBot. Manche Programme geben sich fälschlich als Googlebot aus. Echte Googlebot-Zugriffe lassen sich über eine Rückwärts-DNS-Abfrage oder die von Google veröffentlichten IP-Bereiche prüfen.

Wie man sieht, was der Googlebot sieht

Die Google Search Console bietet mit der URL-Prüfung genau das: Sie zeigt, ob eine Seite indexiert ist, wann sie zuletzt gecrawlt wurde, ob sie gerendert werden konnte und wie das gerenderte HTML aussieht. Der Bericht «Crawling-Statistiken» zeigt, wie oft und wie schnell Google eine Website abruft und welche Antwortcodes dabei auftreten.

Ergänzend lohnt der Blick in die Server-Logdateien, um zu sehen, welche Bereiche der Googlebot tatsächlich besucht. Bei kleinen Websites ist das selten nötig; bei grossen Shops mit vielen Filterseiten deckt es oft verschwendetes Crawl Budget auf.

Beispiel: Leistungen, die der Googlebot nicht sieht

Ein Ingenieurbüro hat seine Leistungen in Akkordeons organisiert, deren Inhalt erst beim Anklicken per JavaScript nachgeladen wird. Die URL-Prüfung in der Search Console zeigt: Im gerenderten HTML stehen nur die Überschriften, nicht die Texte. Google kennt also die Leistungen kaum, und KI-Crawler, die kein JavaScript ausführen, sehen gar nichts.

Die Lösung: Die Inhalte stehen von Anfang an im HTML und werden nur optisch ein- und ausgeklappt. Wir bauen Websites deshalb mit serverseitigem Rendering, damit Crawler alle Inhalte sofort sehen. Wie das in der Praxis aussieht, beschreibt die Seite Website erstellen lassen; bestehende Websites prüft das Website-Audit.

Weiterführende Seite

Indexierung

Häufige Fragen zu Googlebot (Crawler)

Das hängt von Grösse, Aktualität und Bedeutung der Website ab. Wichtige, oft aktualisierte Seiten werden häufiger gecrawlt. Die genauen Werte zeigt die Search Console im Bericht «Crawling-Statistiken».

Ja. In der Search Console können Sie über die URL-Prüfung die Indexierung einer einzelnen Seite beantragen. Für viele Seiten ist eine aktuelle XML-Sitemap der bessere Weg. Eine Garantie für sofortiges Crawling gibt es nicht.

Ja, Google rendert Seiten mit einer aktuellen Chromium-Version. Das kann aber zeitversetzt geschehen, und Inhalte, die erst nach Interaktionen erscheinen, werden nicht erfasst. Viele andere Crawler, darunter KI-Crawler, führen kein JavaScript aus.

Bereit für Ihr Projekt?

Wenden Sie dieses Wissen auf Ihre Website an — DLM Digital hilft Ihnen dabei.

Kosten berechnen Alle Begriffe