Das X-Robots-Tag ist eine HTTP-Kopfzeile, die dieselben Anweisungen trägt wie Meta Robots, also etwa noindex oder nofollow. Weil sie zur Antwort des Servers gehört und nicht zum Dokument, wirkt sie auch bei Dateien, die keinen HTML-Kopf haben.
- X-Robots-Tag
Dieselbe Anweisung wie Meta Robots, nur im HTTP-Kopf und damit auch für Dateien ohne HTML.
Beispiel: „Die Preisliste als PDF bekam ein X-Robots-Tag mit noindex, weil im PDF kein Meta-Element steht.“Das X am Anfang stammt aus einer Zeit, in der nicht standardisierte Kopfzeilen so gekennzeichnet wurden. Geblieben ist es aus Gewohnheit.
Die Werte sind dieselben wie bei Meta Robots. Stehen beide an einer Seite und widersprechen sich, gilt die strengere Anweisung.
Wofür das X-Robots-Tag gebraucht wird
Für alles, was kein HTML ist. PDFs, Bilder, Archive, Exporte: In keiner dieser Dateien gibt es einen Platz für ein Meta-Element, und genau solche Dateien landen oft unbeabsichtigt in den Ergebnissen. Ein Angebot als PDF, das jemand mit dem Dateinamen aus der Suche findet, ist ein typischer Fall.
Der zweite Anwendungsfall ist die Steuerung für viele Seiten auf einmal. Weil die Kopfzeile am Server gesetzt wird, lässt sie sich über ein Muster für ganze Verzeichnisse oder Dateitypen vergeben, ohne jedes Dokument anzufassen.
Wie das X-Robots-Tag gesetzt wird
In der Serverkonfiguration oder von der Anwendung. Die folgenden beiden Beispiele betreffen alle PDF-Dateien, eines für Apache und eines für nginx.
# Apache, in der .htaccess oder der Serverkonfiguration
<FilesMatch "\.pdf$">
Header set X-Robots-Tag "noindex, nofollow"
</FilesMatch>
# nginx
location ~* \.pdf$ {
add_header X-Robots-Tag "noindex, nofollow";
}Ob die Zeile ankommt, lässt sich mit jedem Werkzeug prüfen, das HTTP-Köpfe anzeigt. Ein Blick in den Browser genügt dafür nicht, weil die Zeile im Dokument nicht sichtbar wird.
Wann das X-Robots-Tag die bessere Wahl ist
Immer dann, wenn die Anweisung nicht in das Dokument gehört. Bei einer Testumgebung etwa ist die Kopfzeile sicherer als ein Meta-Element in jeder Vorlage, weil sie beim Umzug auf die Live-Umgebung nicht mitwandert, sofern die Konfiguration getrennt ist.
Umgekehrt gilt dasselbe Risiko wie bei der robots.txt: Wer eine Seite sperrt, verhindert, dass die Anweisung gelesen wird. Das X-Robots-Tag braucht einen Abruf, der durchgeht.