Das Crawl Budget ist die Menge an Abrufen, die eine Suchmaschine einer Website in einem Zeitraum zugesteht. Es ergibt sich aus zwei Größen: wie viel der Server verträgt und wie viel Interesse die Suchmaschine an der Website hat.
- Crawl Budget
Die Menge an Abrufen, die eine Suchmaschine einer Website in einem Zeitraum zugesteht.
Beispiel: „Bei 400.000 Filterkombinationen ging das Crawl Budget fast vollständig an Seiten ohne eigenen Wert.“Für die allermeisten Websites ist es kein Thema. Google selbst nennt als Schwelle eine Größenordnung ab mehreren tausend Seiten oder häufig wechselnden Inhalten.
Es lässt sich nicht kaufen und nicht direkt einstellen. Beeinflussbar ist nur, wofür es ausgegeben wird.
Wofür Crawl Budget verschwendet wird
Für Adressen, die niemand finden soll. Filterkombinationen, interne Suchergebnisse, Sortierungen, Sitzungskennungen in der Adresse und endlose Kalenderseiten erzeugen beliebig viele Varianten derselben Inhalte.
Dazu kommen Weiterleitungsketten und Fehlerseiten. Jeder Umweg kostet einen Abruf, der an anderer Stelle fehlt.
Was beim Crawl Budget wirklich hilft
Weniger Adressen statt mehr Technik. Die wirksamste Maßnahme ist, gar nicht erst Varianten zu erzeugen, die niemand braucht. Danach kommt die Sperre der verbleibenden über die robots.txt, damit sie gar nicht erst abgerufen werden.
Eine saubere XML-Sitemap hilft zusätzlich, weil sie zeigt, welche Adressen überhaupt zählen. Sie gehört regelmäßig geprüft: Was dort steht und mit einem Fehler antwortet, kostet doppelt.
Woran man erkennt, dass das Crawl Budget knapp wird
An drei Beobachtungen zusammen. Die Zahl der Seiten im Index liegt deutlich unter der Zahl der vorhandenen Seiten, neue Inhalte brauchen Wochen bis zur Aufnahme, und die Crawling-Statistik zeigt viele Abrufe bei langsamen Antwortzeiten.
Tritt nur eine dieser Beobachtungen auf, liegt die Ursache fast immer woanders. Eine neue Seite, die nach zwei Wochen nicht im Index steht, hat in der Regel ein Inhaltsproblem und kein Budgetproblem.