Ein Crawler ist ein Programm, das Webseiten automatisch abruft und den Verweisen darin folgt. Andere Namen für dieselbe Sache sind Spider und Bot. Er ist die erste Stufe jeder Suchmaschine: Was kein Crawler abruft, kann auch nicht in den Index gelangen.
- Crawler
Ein Programm, das Webseiten automatisch abruft und ihren Verweisen folgt.
Beispiel: „Der Crawler hatte die neue Kategorieseite innerhalb von zwei Tagen abgerufen.“Erkennbar ist er an seiner Kennung im Serverprotokoll, dem User-Agent. Diese Kennung lässt sich fälschen, weshalb die großen Anbieter zusätzlich eine Prüfung über die IP-Adresse anbieten.
Nicht jeder Crawler gehört zu einer Suchmaschine. Es gibt solche für KI-Training, für Archive, für Preisvergleiche und für die Wettbewerbsbeobachtung.
Wie ein Crawler arbeitet
Er beginnt mit einer Liste bekannter Adressen, ruft sie ab, sammelt die darin enthaltenen Verweise und stellt sie in die Warteschlange. Deshalb hängt die Auffindbarkeit einer Seite daran, dass irgendwo ein Link auf sie zeigt oder dass sie in der XML-Sitemap steht.
Eine Seite, auf die nichts verweist und die in keiner Sitemap steht, bleibt unbesucht. Solche Seiten heißen verwaiste Seiten und fallen meist erst auf, wenn jemand die Zahl der indexierten Seiten mit der Zahl der tatsächlichen vergleicht.
Wie man Crawlern Grenzen setzt
Über die robots.txt im Wurzelverzeichnis. Sie wird vor dem Abruf gelesen und regelt, welche Bereiche ein benannter Crawler nicht anfassen soll. Sie ist eine Bitte, keine Sperre: Wer sich nicht daran hält, wird dadurch nicht aufgehalten.
User-agent: *
Disallow: /intern/
Disallow: /suche
User-agent: GPTBot
Disallow: /
Sitemap: https://www.beispiel.de/sitemap.xmlWer einen Crawler wirklich aussperren will, braucht eine Sperre auf Serverebene. Und wer verhindern will, dass eine abgerufene Seite im Index landet, braucht etwas anderes als die robots.txt, nämlich Meta Robots.
Warum die Zahl der Crawler zunimmt
Weil zu den Suchmaschinen die KI-Dienste gekommen sind. Sie sammeln Material für das Training von Modellen und rufen Seiten ab, während ein Nutzer eine Frage stellt. Beides sind getrennte Vorgänge mit getrennten Kennungen, und beide lassen sich getrennt erlauben oder sperren.
Die Entscheidung darüber ist keine technische. Wer gefunden werden will, sperrt die abrufenden Dienste besser nicht aus, siehe KI-Crawler.