Crawl Budget

Crawl Budget: Definition

Crawl Budget beschreibt die Anzahl an URLs, die Googlebot pro Domain in einem bestimmten Zeitraum abruft. Es setzt sich aus zwei Faktoren zusammen: dem Crawl Rate Limit (wie viele Anfragen die Server-Performance verträgt, ohne überlastet zu werden) und dem Crawl Demand (wie wichtig Google die Domain einschätzt, basierend auf Authority und Aktualität). Beide multiplizieren sich zum effektiven Budget. Für kleine Sites unter 10.000 URLs ist Crawl Budget irrelevant — für E-Commerce, News-Portale und große Inhalts-Domains entscheidet es darüber, ob neue oder geänderte Inhalte überhaupt im Index landen.

Crawl Budget: Abgrenzung

Crawl Budget ist nicht dasselbe wie Crawl Rate oder Indexierungs-Quote. Im Unterschied zur Crawl Rate (Anfrage-Geschwindigkeit pro Sekunde) fokussiert Crawl Budget auf das Gesamtvolumen abrufbarer URLs pro Zeitraum, nicht auf die zeitliche Verteilung dieser Abrufe. Auch Indexierung ist eine separate Stufe: gecrawlte URLs werden nicht automatisch indexiert — Crawl Budget entscheidet nur über Crawl-Eintritt, nicht über Index-Aufnahme oder Ranking-Wirkung.

Crawl Budget: Wirkungsweise / Mechanik

Googlebot priorisiert beim Crawling nach Wichtigkeit, Aktualität und Linkstruktur. Je mehr interne Links auf eine URL zeigen und je mehr externe Backlinks die Domain insgesamt hat, desto häufiger wird gecrawlt. Verschwendet wird Budget durch URL-Duplikate (Parameter-URLs wie ?sort=, ?filter=), Soft-404s, Endlos-Pagination, Session-IDs und tote interne Links. Bei Domains mit 500.000+ URLs sind Crawl-Statistiken in der Search Console der wichtigste technische KPI — fällt die Anzahl gecrawlter Seiten pro Tag, sinkt die Indexierungs-Geschwindigkeit, und neue Backlinks oder Content-Änderungen werden erst Wochen später wirksam. Ein typisches Pattern: nach Server-Migrationen oder CMS-Wechseln explodiert die URL-Zahl temporär, das effektive Budget pro relevanter URL kollabiert, und Money-Pages verlieren Sichtbarkeit, ohne dass am Content etwas geändert wurde.

Crawl Budget: Bedeutung für SEO / Linkbuilding

Im Linkbuilding wirkt Crawl Budget indirekt, aber mächtig. Ein neuer Backlink entfaltet Wirkung erst, wenn Google ihn crawlt — und das passiert auf der Quelldomain, nicht auf der Zieldomain. Backlinks von Domains mit hoher Crawl-Frequenz (Wikipedia, große Verlage, etablierte Blogs) wirken innerhalb von Tagen. Backlinks aus selten gecrawlten Verzeichnissen oder PBN-Strukturen können Monate brauchen. Auf der Empfänger-Seite wiederum entscheidet das eigene Crawl Budget darüber, ob die durch den Backlink erhaltene Authority überhaupt durch die Site fließen kann.

Crawl Budget: Praxis-Beispiele

• E-Commerce-Shop, 1,2 Mio URLs: 80 % aller Crawl-Requests landen auf Filter- und Sortier-Parameter-URLs. Maßnahme: Disallow in robots.txt für Parameter, noindex auf internen Suchergebnis-Pages, Canonical-Tags auf saubere Produkt-URLs. Indexierungs-Quote nach 8 Wochen von 34 % auf 71 %.
• News-Portal, Archiv-Problem: 600.000 alte Artikel, davon 60 % nie verlinkt. Maßnahme: alte Tag-Pages auf noindex, Sitemap auf Top-30 % der Artikel reduziert, Internal-Linking aus Hub-Pages auf Evergreen-Content. Crawl-Frequenz auf Money-Pages +180 %.
• B2B-SaaS, 4.000 URLs: Crawl-Budget de facto unbegrenzt, alle URLs werden täglich gecrawlt. Optimierung lohnt sich nicht — Energie besser in Content-Tiefe investiert.

Crawl Budget: Häufige Fehler

Crawl-Budget-Optimierung wird oft als Universal-Hebel verkauft — sie lohnt sich erst ab 10.000 URLs realistisch, ab 100.000 URLs zwingend. Wer auf einer 800-URL-Site Crawl-Budget tunt, optimiert Nichts und verschwendet Energie, die in Content-Tiefe besser investiert wäre. Häufiger Fehler: noindex und Disallow gleichzeitig setzen — Google kann die noindex-Anweisung dann nicht lesen und behält die URL im Index. Ebenfalls riskant: Sitemap mit 1 Mio URLs einreichen, ohne dass davon 80 % je gecrawlt werden — das verwässert das Demand-Signal und reduziert die Crawl-Priorität wichtiger Money-Pages.

Crawl Budget: Verbindung zu anderen Themen

Crawl Budget hängt eng zusammen mit der Crawl Rate und der Indexierung. Wer große Sites optimiert, plant beides zusammen mit dem Internal Linking und Sitemap-Hygiene.