Erstellt: 4. Oktober 2026 • Zuletzt aktualisiert: 20. Oktober 2026
Crawl-Budget: Definition, Verschwendungsfallen & Hebel im SEO
Wichtigste Erkenntnisse
- Das Crawl-Budget bestimmt, wie viele Unterseiten der Googlebot und KI-Crawler in einer bestimmten Zeit auf deiner Domain abrufen können und wollen.
- Während Google über 25 Jahre lang gigantische Server-Power aufgebaut hat, scheitern jüngere KI-Crawler (GPTBot, ClaudeBot, Perplexity) oft schon an aufgeblähten Shops und schwerem JavaScript-Rendering.
- Ehrlichkeit in der XML-Sitemap zahlt sich aus: Wer kein 'lastmod'-Spamming betreibt, sondern echte Änderungsdaten pflegt, lenkt das Crawl-Budget direkt auf seine neuen Seiten.
- Die größten Budget-Fresser im Alltag sind ungesperrte Shop-Filter (Parameter-URLs), interne 301-Weiterleitungsketten und langsame Server-Antwortzeiten.
Wenn wir über das Crawl-Budget sprechen, müssen wir im Jahr 2026 zwei völlig unterschiedliche Welten auseinanderhalten: Auf der einen Seite steht der alte Platzhirsch Google. Google baut seit über 25 Jahren die größten Rechenzentren der Erde auf und hat unfassbar viel Server-Power. Wenn du eine normale Unternehmenswebsite mit 50 oder 200 Unterseiten hast, lächelt der Googlebot einmal kurz und liest das Ding beim Frühstück ein.
Auf der anderen Seite stehen heute aber zwei Szenarien, bei denen das Crawl-Budget plötzlich zum knallharten Flaschenhals wird:
- Große Shops und Portale: Sobald du einen Onlineshop mit 20.000 Produkten und tausenden Filter-Kombinationen (Farbe, Größe, Preis) betreibst, reicht selbst Googles Geduld nicht mehr aus, um jeden Tag alles zu prüfen.
- Die neuen KI-Crawler (
GPTBot,ClaudeBot,PerplexityBot): Wie ich auch im Podcast immer wieder erkläre, haben die jungen KI-Suchmaschinen noch längst nicht die 25-jährige Infrastruktur-Power von Google im Rücken! Wenn ein KI-Crawler auf eine langsame Domain mit fetten Ressourcen, kompliziertem JavaScript-Rendering und zehntausenden Parameter-URLs trifft, bricht er den Abruf einfach ab. Wer leicht crawlbar ist, gewinnt in den KI-Antworten.

Jörg Zimmer
Senior SEO & AI Search Consultant
„Du kannst da auch eine Sitemap einreichen und dann wenigstens den Crawler dort ein bisschen unterstützen und aber bitte dann sauber und nicht mit Last Mod Spam, sondern wenn die URL wirklich vor zwei Jahren das letzte Mal geupdatet ist, ja, dann nimm bitte da auch dieses Datum. Das würde im Umkehrschluss dem Crawler signalisieren: brauche ich nicht vorbeikommen. Und dann kann er dein Budget, wenn er dir ein Crawlbudget zugewiesen hat, auf einer vielleicht neueren URL verwenden, die gestern erst dazugekommen ist… das wäre so eine vertrauensbildende Maßnahme gegenüber dem Crawler.“
Jörg Zimmer auf LinkedIn folgen →
Praxis-Ampel: Wie effizient nutzen Bots dein Crawl-Budget?
Server antwortet unter 200 ms, Sitemap enthält nur echte 200 OK-Seiten mit ehrlichem lastmod-Datum, kein schweres JS-Rendering nötig. Selbst kleine KI-Crawler lesen deine Inhalte mühelos ein.
Hunderte interne 301-Weiterleitungen im Menü, gefälschte Tagesdaten in der Sitemap und ungesperrte interne Suchergebnisse. Neue Artikel brauchen plötzlich Wochen bis zur Aufnahme in den Index.
Offene Shop-Facettenfilter erzeugen Millionen Parameter-URLs, dazu langsame Datenbank-Abfragen und Client-Side-JavaScript. KI-Bots brechen ab, und wichtige Seiten hängen in „Gefunden – zurzeit nicht indexiert“.
Die zwei Säulen des Crawl-Budgets: Können vs. Wollen
Laut den aktuellen Richtlinien der Google Search Central setzt sich dein effektives Crawl-Budget immer aus zwei Dingen zusammen – und das kleinere von beiden gibt das Tempo vor:
1. Die Crawl-Kapazität (Was hält dein Server aus?)
Jede neue Website startet bei Google zunächst mit einem vorsichtigen Standard-Limit. Google tastet sich langsam heran, weil der Bot deinen Server nicht in die Knie zwingen will.
- Schnelle Leitung = mehr Besuch: Antwortet dein Server knackig unter 200 Millisekunden, schraubt Google das Limit automatisch nach oben. (Übrigens wird dieses technische Limit laut Google über alle Google-Crawler hinweg geteilt – vom normalen Such-Bot über den Shopping-Bot bis zu den Gemini-Systemen!)
- Server-Stottern = Vollbremsung: Sobald dein Server bei Last anfängt zu keuchen oder HTTP-Statuscodes wie
500,503oder429 Too Many Requestswirft, tritt der Googlebot sofort auf die Bremse.
2. Der Crawl-Bedarf (Wie spannend bist du für Google?)
Selbst wenn du den schnellsten Hochleistungs-Server der Welt mietest: Wenn auf deiner Website seit drei Jahren nichts passiert und kaum jemand auf dich verlinkt, hat Google schlichtweg keinen Grund, jeden Tag vorbeizuschauen. Erst durch starke interne und externe Verlinkung sowie frische Inhalte mit echtem Information Gain steigt der Bedarf.

Jörg Zimmer
Senior SEO & AI Search Consultant
„Datenbanken, Portale, BewertungsWebsites, VergleichWebsites, Socials und alles was groß genug und leicht crawlbar ohne fette Ressourcen ohne großes Rendering. Leider oft US lästiger Kram. Kommt jedoch wirklich stark auf das Umfeld und die Brauchen an. Man sieht die Quellen ja in den AI Tracking Tools.“
Die 5 schlimmsten Crawl-Budget-Fresser in der Praxis
Wenn ich in meinen Audits sehe, dass neue Seiten wochenlang in der Google Search Console unter „Gefunden – zurzeit nicht indexiert“ verhungern, liegt es fast immer an einem dieser fünf Lecks:
1. Ausufernde Shop-Filter (Facettennavigation)
Ein Onlineshop hat 500 Jacken im Sortiment, lässt aber zu, dass jeder Filter für Farbe, Größe, Kragenform und Preisspanne eine eigene, frei crawlbare URL erzeugt (?color=blue&size=xl&sort=asc). Aus 500 echten Produkten werden plötzlich 500.000 Parameter-URLs! Der Bot verläuft sich tagelang im Filter-Labyrinth, während deine neuen Kategorieseiten links liegen bleiben. Solche technischen Parameter gehören konsequent über die robots.txt vom Crawling ausgeschlossen.
2. „Lastmod-Spam“ in der XML-Sitemap
Wie oben in meinem Podcast-Zitat beschrieben: Viele Entwickler bauen ein Sitemap-Skript, das jede Nacht um 03:00 Uhr über alle URLs läuft und überall pauschal das aktuelle Datum in <lastmod> schreibt – obwohl sich auf 99 Prozent der Seiten kein einziges Komma geändert hat. Sobald der Crawler merkt, dass du ihn mit falschen Änderungsdaten anflunkerst, verliert er das Vertrauen in deine Sitemap komplett. Gib dort ehrlich das echte Datum der letzten Textänderung an – das ist eine echte vertrauensbildende Maßnahme gegenüber dem Bot!
3. Blaue 301-Punkte und Weiterleitungsketten im eigenen Haus
Wenn du im internen Menü oder im Fließtext auf URLs ohne Trailing Slash verlinkst und der Server bei jedem Klick erst über eine 301-Weiterleitung springen muss, halbierst du dein Crawl-Tempo ohne Not. Jeder interne Link muss ohne Umwege auf das finale 200 OK-Ziel zeigen.
4. Schweres Client-Side-JavaScript (Besonders tödlich für KI-Bots!)
Wenn deine Inhalte erst im Browser durch megabyteweise JavaScript zusammengebaut werden (Two-Wave Indexing), muss Google die Seite zweimal anfassen – und viele KI-Crawler sehen überhaupt nur ein leeres Gerüst. Liefere deinen Text sauber serverseitig gerendert (SSR/SSG) und am besten zusätzlich per Markdown Content Negotiation aus.
5. Vergessene Soft-404-Leichen und verwaiste Inseln
Hunderte leere Tag-Archive oder ausverkaufte Produktseiten, die weiterhin mit Status 200 OK antworten (Soft 404), fressen jeden Monat kostbare Bot-Zeit, während wichtige Leistungsseiten als Orphan Pages kaum interne Links abbekommen.
Matrix: Saubere Crawl-Überholspur vs. Budget-Verbrennung
| Stellschraube | Saubere Crawl-Überholspur | Klassische Budget-Verbrennung |
|---|---|---|
| Server-Antwort (TTFB) | Unter 200 ms + saubere 304 Not Modified Header. | Über 1,5 Sekunden Wartezeit pro Datenbankabfrage. |
| XML-Sitemap | Nur echte 200 OK-URLs mit ehrlichem lastmod-Datum. | Weiterleitungen, noindex-Seiten & täglicher Lastmod-Spam. |
| Filter & Parameter | Technische Sortier- und Filterparameter in der robots.txt gesperrt. | Millionen Parameter-Kombinationen für Bots frei zugänglich. |
| KI-Crawler-Readiness | Statisches HTML / SSR + schlankes Markdown ohne Rendering-Zwang. | Fette JavaScript-Bundles, an denen GPTBot & Co. abbrechen. |
Arbeitsanweisung für deinen KI-Agenten (Cursor / Claude / Antigravity)
Kopiere diesen Prompt direkt in deinen KI-Coding-Assistenten, um deine XML-Sitemap von Lastmod-Spam zu befreien und Crawl-Budget-Fresser in der robots.txt abzuriegeln:
# Prompt: Crawl-Budget-Optimierung, Sitemap-Hygiene & AI-Crawler-Freigabe
Rolle: Du bist ein hochspezialisierter Technical SEO & Web Architect.
Aufgabe: Optimiere die XML-Sitemap-Generierung, das HTTP-Caching und die robots.txt von https://[deine-domain.de]/ für maximale Crawl-Effizienz bei Googlebot und KI-Crawlern.
# Vorgehensweise & Sicherheitsregeln:
1. Tech-Stack-Analyse (Erst prüfen, dann handeln): Ermittle CMS/Framework (WordPress, Shopify, Next.js, Astro, Nuxt, Laravel), Webserver und wie die sitemap.xml sowie robots.txt aktuell erzeugt werden.
2. Defensive & konfliktfreie Integration: Sperre niemals CSS- oder JS-Assets, die Google zum Rendern benötigt. Stelle in der robots.txt sicher, dass wichtige KI-Crawler (GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot) auf öffentliche Inhaltsseiten zugreifen dürfen, während wertlose Parameter-Pfade (Sortierungen, Warenkorb, interne Suche) per Disallow ausgeschlossen werden.
3. Standard- & URL-Hygiene: Bereinige die XML-Sitemap: Es dürfen ausschließlich kanonische 200 OK-URLs mit HTTPS und konsistentem Trailing Slash enthalten sein. Ersetze pauschale Tagesdaten in <lastmod> durch das tatsächliche Änderungsdatum der jeweiligen Datei/Datenbankzeile.
4. Pre-Flight-Validierung: Prüfe die generierte sitemap.xml und robots.txt im lokalen Build auf valide Syntax und teste die Antwortzeiten.
Output: 1. Analyse-Befund der erkannten Crawl-Budget-Fresser, 2. Konkreter Code-Diff für robots.txt und Sitemap-Logik, 3. Anleitung zur Kontrolle in den GSC-Crawling-Statistiken.
Freie Bahn im Maschinenraum
Wie ich in meinem Beitrag über die erste Regel im SEO Fight Club: Indexierung vor Ranking und in meinem Rückblick auf 10 Jahre eigenes Geld verbrannt: Warum echte SEOs eigene Projekte brauchen immer wieder zeige: Erst wenn der Crawler ohne Stau durch dein System flutscht, können deine Seiten sauber indexiert werden, die Suchintention bedienen und in den Google AI Overviews als Quelle glänzen.
Crawl-Budget & Indexierungs-Audit in der SEO-Sprechstunde
Bleiben neue Seiten wochenlang unindexiert oder verbrennt dein Shop sein Crawl-Budget in tausenden Filter-URLs? In 2 Stunden analysieren wir deine Crawling-Statistiken, decken Parameter-Fallen auf und machen den Weg für Google und KI-Bots frei.
Jetzt an der Diskussion teilnehmen
Diskutiere mit Jörg Zimmer und der SEO-Community auf LinkedIn über diesen Beitrag.
Beitrag auf LinkedIn öffnenMuss ich mir bei einer normalen Website mit 100 Seiten Sorgen um mein Crawl-Budget machen?
Was ist der Unterschied zwischen Crawl-Kapazität und Crawl-Bedarf?
Warum warnt Jörg Zimmer vor 'lastmod'-Spam in der XML-Sitemap?
Wo sehe ich in der Google Search Console, wie es um mein Crawl-Budget steht?
Weitere spannende Themen
- AI Crawlability: Maschinenlesbarkeit für Answer Engines
- Web Application Firewall (WAF): Schutz vs. SEO
- AI Visibility Audit (AEO & GEO Audit)
- SEO Visibility Tools vs. AI Visibility Tools
- Client-Side Rendering (CSR): Risiken für SEO & KI
- Server-Side Rendering (SSR): Der Turbo für SEO & KI-Crawlability
- Was ist Two-Wave Indexing? SEO & Rendering
Willst du dieses Thema sauber für deine Domain umsetzen?
Ich bin Jörg Zimmer, unabhängiger Senior SEO & AI Visibility Freelancer (und Teil unseres spezialisierten Freelancer-Teams). In meiner 2-stündigen 1:1 SEO- & KI-Sprechstunde (480 € Festpreis) prüfe ich deine Website live per Screensharing auf technische Handbremsen, Schema.org-Entitäten und KI-Sichtbarkeit – direkt von mir als Senior-Experte, ohne Agentur-Overhead und ohne Vertragsbindung.