Meta Robots ist die Anweisung im Kopf einer HTML-Seite, mit der eine Website Suchmaschinen mitteilt, ob die Seite in den Index aufgenommen werden darf und ob den Verweisen darin gefolgt werden soll. Sie steht als meta-Element im Head und wird beim Abruf gelesen.
- Meta Robots
Die Anweisung im Kopf einer Seite, die Suchmaschinen sagt, ob sie aufgenommen werden darf.
Beispiel: „Die Dankesseite trug ein Meta Robots mit noindex und verschwand nach zwei Wochen aus den Ergebnissen.“Auch: Robots-Meta-Tag. Der Name kommt vom Wert des Attributs
name=„robots“, mit dem sich die Anweisung an alle Crawler richtet.Abgrenzung zur robots.txt: Die regelt den Abruf, Meta Robots regelt die Aufnahme. Wer das verwechselt, erreicht das Gegenteil.
Welche Werte Meta Robots kennt
Die beiden gebräuchlichen sind noindex und nofollow. Das erste verbietet die Aufnahme, das zweite verbietet, den Verweisen auf der Seite zu folgen. Beide lassen sich kombinieren, und beide haben ein Gegenstück, das den Normalfall benennt und deshalb nie geschrieben werden muss.
<!-- Normalfall, steht so gut wie nie im Quelltext -->
<meta name="robots" content="index, follow">
<!-- Aufnahme verbieten, Verweisen weiter folgen -->
<meta name="robots" content="noindex, follow">
<!-- Nur fuer Google, andere Crawler bleiben unberuehrt -->
<meta name="googlebot" content="noindex">Daneben gibt es Werte, die das Aussehen in den Ergebnissen steuern: max-snippet begrenzt die Länge des Textauszugs, max-image-preview die Größe des Vorschaubilds, noarchive unterdrückt die zwischengespeicherte Fassung.
Wo Meta Robots stehen muss, um zu wirken
Im Head und nicht im Body. Eine Anweisung, die im sichtbaren Teil des Dokuments steht, wird überlesen. Wer sie nachträglich mit JavaScript einfügt, verlässt sich darauf, dass die Suchmaschine das Skript ausführt und das Ergebnis vor der Entscheidung sieht; verlässlich ist das nicht.
Die Anweisung wirkt außerdem nur für die Adresse, unter der sie steht. Eine Seite, die über zwei Adressen erreichbar ist, braucht sie an beiden oder einen Canonical-Tag, der die Fassungen zusammenführt.
Warum Meta Robots und robots.txt sich widersprechen können
Das ist der häufigste Fehler in diesem Feld. Steht eine Seite in der robots.txt auf gesperrt und trägt zugleich ein noindex, bewirkt die Kombination das Gegenteil des Gewünschten: Die gesperrte Seite wird nicht abgerufen, die Anweisung darin also nie gelesen, und die Adresse kann als nackter Eintrag in den Ergebnissen stehen bleiben.
Richtig ist eines von beidem. Soll die Seite aus dem Index verschwinden, muss sie abrufbar bleiben, damit die Anweisung ankommt. Soll sie gar nicht erst abgerufen werden, gehört sie in die robots.txt und bekommt kein noindex.
Für Dateien ohne HTML-Kopf, etwa PDFs oder Bilder, gibt es dieselbe Anweisung als HTTP-Kopfzeile; siehe X-Robots-Tag.