Crawlbarkeit ist die Eigenschaft einer Seite, von einem Crawler abgerufen werden zu können. Sie ist die Vorbedingung für alles Weitere und wird meist erst geprüft, wenn eine Seite unerklärlich nicht gefunden wird.
- Crawlbarkeit
Die Eigenschaft einer Seite, von einem Crawler abgerufen werden zu können.
Beispiel: „Die Sperre aus der Testumgebung wanderte beim Livegang mit und nahm dem ganzen Shop die Crawlbarkeit.“Zu trennen von der Indexierbarkeit: Crawlbar heißt abrufbar, indexierbar heißt aufnehmbar. Eine Seite kann das eine sein und das andere nicht.
Geprüft wird sie am schnellsten über die URL-Prüfung in der Search Console. Sie sagt, ob die Adresse abgerufen werden konnte und was dabei herauskam.
Was die Crawlbarkeit am häufigsten blockiert
An erster Stelle eine Zeile in der robots.txt, die aus der Testumgebung in den Produktivbetrieb mitgewandert ist. Sie sperrt alles und fällt niemandem auf, weil die Seite im Browser normal aussieht.
# Testumgebung: alles sperren
User-agent: *
Disallow: /
# Produktivbetrieb: nur einzelne Bereiche sperren
User-agent: *
Disallow: /warenkorb
Disallow: /intern/Dahinter folgen Inhalte hinter einem Login, Inhalte, die erst nach einer Nutzeraktion geladen werden, und Seiten ohne jeden eingehenden Verweis. Alle drei sind für Menschen erreichbar und für Maschinen nicht.
Was JavaScript mit der Crawlbarkeit zu tun hat
Mehr als früher und weniger als befürchtet. Große Suchmaschinen führen JavaScript aus, aber in einem zweiten Durchgang und mit Verzögerung. Inhalte, die erst dabei entstehen, erscheinen später im Index als solche, die schon im ausgelieferten Dokument stehen.
Unsere Empfehlung: Alles, was gefunden werden soll, gehört in die erste Auslieferung. Das betrifft vor allem Überschriften, Fließtext und die internen Verweise, über die ein Crawler weiterläuft.
Wie man die Crawlbarkeit nach einem Livegang prüft
In dieser Reihenfolge: zuerst die robots.txt im Browser aufrufen, dann eine beliebige Unterseite mit der URL-Prüfung der Search Console abrufen, dann die XML-Sitemap einreichen und den Bericht am nächsten Tag ansehen.
Diese drei Schritte dauern zusammen zehn Minuten und fangen den teuersten Fehler ab, nämlich eine Website, die wochenlang unsichtbar bleibt, weil eine einzige Zeile aus der Testumgebung mitgewandert ist.