Crawling ist das automatische Abrufen von Seiten durch eine Suchmaschine. Es ist der erste von drei Schritten und wird regelmäßig mit dem zweiten verwechselt: Eine abgerufene Seite ist noch lange nicht im Index.
- Crawling
Das automatische Abrufen von Seiten durch eine Suchmaschine.
Beispiel: „Nach dem Umzug dauerte das erneute Crawling der Unterseiten knapp drei Wochen.“Der Takt ist nicht fest. Eine Startseite, die sich täglich ändert, wird häufiger abgerufen als eine Unterseite, die seit zwei Jahren gleich aussieht.
Crawling kostet Ressourcen auf beiden Seiten. Suchmaschinen drosseln deshalb, wenn der Server langsam antwortet oder Fehler häuft.
Wovon die Häufigkeit des Crawlings abhängt
Von drei Dingen, die sich beeinflussen lassen. Wie oft sich die Seite tatsächlich ändert, wie schnell der Server antwortet und wie gut die Seite intern verlinkt ist. Eine Seite tief in der Struktur wird seltener besucht als eine, die von der Startseite aus in zwei Schritten erreichbar ist, siehe Klicktiefe.
Was die Häufigkeit nicht erhöht: ein Datum im Text zu ändern, ohne am Inhalt etwas zu tun. Suchmaschinen vergleichen den Inhalt selbst.
Wie man das Crawling beobachtet
Über die Crawling-Statistik in der Search Console und über die Serverprotokolle. Die Statistik zeigt Zahl der Anfragen, Antwortzeiten und die Verteilung auf Dateitypen; die Protokolle zeigen, welche Adressen tatsächlich abgerufen wurden.
Aufschlussreich ist dabei vor allem die Verteilung. Wenn ein großer Teil der Abrufe auf Filterkombinationen oder Suchergebnisseiten entfällt, geht Aufwand an Adressen verloren, die niemand finden soll.
Was Crawling vom Rendern unterscheidet
Beim Crawling wird das Dokument geholt, beim Rendern wird daraus eine Seite. Dazwischen liegt bei vielen Websites eine Verzögerung, weil das Ausführen von JavaScript aufwendiger ist als das Abrufen einer Datei.
Für die Praxis heißt das: Ein frisch veröffentlichter Inhalt kann abgerufen sein und trotzdem noch nicht vollständig erfasst. Wer kurz nach dem Livegang prüft, sieht deshalb manchmal eine halbe Seite.