Crawl-Budget.

Das Crawl-Budget beschreibt, wie viele URLs der Googlebot in einem gegebenen Zeitraum auf einer Website abruft. Es ergibt sich aus zwei Faktoren: der Crawl-Kapazität (wie viel der Server verträgt, ohne langsam zu werden) und dem Crawl-Bedarf (wie wichtig und aktuell Google die Inhalte einschätzt).

Für kleine und mittlere Websites mit ein paar hundert Seiten ist das Crawl-Budget selten ein Engpass — Google crawlt sie in der Regel vollständig. Relevant wird es bei grossen Auftritten mit vielen tausend URLs, etwa grossen Onlineshops, Nachrichtenportalen oder programmatisch erzeugten Seiten. Dort kann verschwendetes Budget dazu führen, dass wichtige Seiten seltener aktualisiert werden.

Budget-Fresser sind unter anderem endlose URL-Parameter-Kombinationen, Filter-Navigationen mit Millionen von Varianten, Duplicate Content, Soft-404-Seiten und langsame Serverantworten. Wer solche Fallen mit robots.txt, sauberen Canonicals, schnellen Ladezeiten und einer schlanken Seitenstruktur entschärft, lenkt das Budget auf die Seiten, die wirklich ranken sollen.

Beispiel: Ein Shop mit 50'000 Produkten und zusätzlich unzähligen Filter-URLs kann Google mit belanglosen Parameter-Seiten überfluten. Werden diese per robots.txt und Canonical gebündelt, bleibt mehr Budget für die eigentlichen Produkt- und Kategorieseiten — die dadurch schneller und häufiger neu indexiert werden.