Der Googlebot ist der Crawler von Google, der Seiten für die Suche abruft. Er tritt in mehreren Varianten auf, und seit der Umstellung auf die Mobile-First-Indexierung ist die Variante für Mobilgeräte die maßgebliche.
- Googlebot
Der Crawler von Google, der Seiten für die Suche abruft.
Beispiel: „Im Serverprotokoll tauchte der Googlebot zuletzt am Dienstag auf.“Neben dem Googlebot für die Websuche gibt es eigene Kennungen für Bilder, Video und Nachrichten sowie getrennte für Anzeigen und für KI-Dienste.
Er hält sich an die robots.txt. Eine dort gesperrte Adresse ruft er nicht ab, kann sie aber trotzdem als bloße Adresse in den Ergebnissen führen.
Wie man einen echten Googlebot erkennt
Nicht an der Kennung allein. Der User-Agent lässt sich frei setzen, und ein nennenswerter Teil der Zugriffe mit dieser Kennung stammt von anderen. Google beschreibt deshalb ein zweistufiges Verfahren über die IP-Adresse.
# Rueckwaertsaufloesung der IP, dann Vorwaertsaufloesung des Namens
host 66.249.66.1
# -> crawl-66-249-66-1.googlebot.com
host crawl-66-249-66-1.googlebot.com
# -> 66.249.66.1 nur dann ist es echtPraktisch braucht man das, wenn Zugriffe auffallen, die den Server belasten. Wer dabei einen echten Googlebot aussperrt, verliert Sichtbarkeit, ohne es sofort zu merken.
Was der Googlebot nicht tut
Er meldet sich nicht an, füllt keine Formulare aus und klickt nichts an. Alles, was eine Anmeldung oder eine Eingabe voraussetzt, bleibt für ihn unsichtbar. Er akzeptiert auch keine Zustimmungsbanner, was bedeutet: Inhalte, die erst nach einer Zustimmung geladen werden, sieht er nicht.
Er verhält sich außerdem wie ein Besucher ohne Vorgeschichte. Personalisierte Inhalte, die auf früherem Verhalten beruhen, kann er nicht sehen, und Inhalte je nach Standort sieht er aus seiner eigenen Perspektive.
Wie man dem Googlebot die Arbeit erleichtert
Mit schnellen Antworten und wenigen Umwegen. Jede Weiterleitung kostet einen zusätzlichen Abruf, jede langsame Antwort senkt die Rate, mit der er wiederkommt. Beides lässt sich an der Crawling-Statistik ablesen.
Dazu kommt Verlässlichkeit: Eine Adresse, die heute eine Seite ausliefert und morgen einen Fehler, wird seltener besucht als eine, die stabil antwortet. Für große Websites ist das der wirksamere Hebel als jede Einstellung.