Indexierbarkeit ist die Eigenschaft einer Seite, in den Index aufgenommen werden zu dürfen. Sie ist von der Crawlbarkeit zu trennen: Crawlbar heißt abrufbar, indexierbar heißt aufnehmbar. Für eine Platzierung braucht es beides.
- Indexierbarkeit
Die Eigenschaft einer Seite, in den Index aufgenommen werden zu dürfen.
Beispiel: „Ein vergessenes noindex nahm der crawlbaren Seite die Indexierbarkeit.“Gesteuert wird sie über vier Stellen: die Anweisung im Dokumentkopf, dieselbe Anweisung im HTTP-Kopf, den kanonischen Verweis und den Statuscode der Antwort.
Die Anweisung im Dokumentkopf ist die gebräuchlichste. Sie steht im Head und wird beim Abruf gelesen.
<!-- Aufnahme erlaubt, Standard, muss nicht geschrieben werden -->
<meta name="robots" content="index, follow">
<!-- Aufnahme verhindern, Verweisen trotzdem folgen -->
<meta name="robots" content="noindex, follow">Der Fehler, der die Indexierbarkeit am häufigsten kostet
Die Kombination aus einer Sperre in der robots.txt und einem noindex im Dokument. Beides zusammen bewirkt das Gegenteil des Gewünschten: Die gesperrte Seite wird nicht abgerufen, die Anweisung darin also nie gelesen, und die Adresse kann als nackter Eintrag in den Ergebnissen stehen bleiben.
Richtig ist eines von beidem. Soll die Seite aus dem Index verschwinden, muss sie abrufbar bleiben, damit die Anweisung ankommt. Soll sie gar nicht erst abgerufen werden, gehört sie in die robots.txt und nicht in den Index-Ausschluss.
Was der kanonische Verweis mit der Indexierbarkeit zu tun hat
Er entscheidet über die Fassung und nicht über die Aufnahme. Zeigt eine Seite per Canonical-Tag auf eine andere, erklärt sie sich selbst zur Variante. Die Suchmaschine nimmt diesen Hinweis entgegen und folgt ihm meistens, aber nicht immer.
Deshalb gilt: Ein kanonischer Verweis auf eine fremde Adresse ist kein Ersatz für ein noindex. Wer sicher ausschließen will, benutzt die ausdrückliche Anweisung.
Welche Seiten von der Indexierung ausgeschlossen gehören
Interne Suchergebnisse, Dankesseiten nach einem Formular, Druckansichten, Filterkombinationen ohne eigenen Wert und alles aus einer Testumgebung. Diese Seiten haben einen Zweck für Besucher und keinen für die Suche.
Nicht ausgeschlossen gehören Seiten, die bloß wenig Text haben. Eine kurze, aber eindeutige Seite ist kein Fall für den Index-Ausschluss, sondern einer für eine bessere Seite.