Staging-Umgebung von der Indexierung ausschließen heißt: die Testfassung einer Website so absichern, dass sie nicht in den Suchergebnissen erscheint. Gemeint ist jede Umgebung neben der echten: Test, Abnahme, Vorschau, die Kopie beim Entwickler.
- Staging-Umgebung ausschließen
Die Testfassung einer Website so absichern, dass sie nicht in den Suchergebnissen landet.
Beispiel: „Beim Livegang vergaß niemand, die Staging-Umgebung auszuschließen, wohl aber die Sperre wieder zu entfernen.“Der Schaden ist doppelt: Unfertige Inhalte sind öffentlich zu finden, und zwei fast gleiche Fassungen konkurrieren miteinander.
Abgrenzung zum De-Listing: Das räumt auf, was schon im Index steht. Hier geht es darum, dass es nie hineinkommt.
Warum die robots.txt dafür die falsche Wahl ist
Weil sie den Abruf regelt und nicht die Aufnahme. Eine gesperrte Testumgebung kann über einen Link von außen gefunden und als nackte Adresse in die Ergebnisse aufgenommen werden, ohne dass eine Zeile ihres Inhalts gelesen wurde. Der Eintrag steht dann da und lässt sich schwer entfernen, weil die Anweisung dazu nie abgerufen wird.
Dazu kommt ein praktischer Nachteil: Die Datei wandert beim Livegang mit, wenn niemand aufpasst. Dann ist die echte Website gesperrt, und das fällt oft erst Wochen später an den Besucherzahlen auf.
Welche Absicherung einer Staging-Umgebung trägt
Ein Passwortschutz auf Serverebene. Wer keine Seite ohne Anmeldung ausliefert, braucht keine Anweisung an Crawler, weil nichts zu holen ist. Das ist die einzige Absicherung, die auch gegen Besucher wirkt, die die Adresse geraten oder aus einem Protokoll haben.
Wo das nicht geht, etwa weil ein Kunde ohne Zugangsdaten hineinsehen soll, ist das X-Robots-Tag für die gesamte Umgebung die zweitbeste Wahl. Es gehört in die Serverkonfiguration der Testumgebung und nicht in die Vorlagen der Anwendung, damit es beim Livegang nicht mitwandert.
# nginx, nur in der Konfiguration der Testumgebung
server {
server_name staging.example.com;
# Erste Wahl: nichts ohne Anmeldung ausliefern
auth_basic "Testumgebung";
auth_basic_user_file /etc/nginx/.htpasswd;
# Zweite Wahl, wenn offen erreichbar bleiben muss
add_header X-Robots-Tag "noindex, nofollow" always;
}Was beim Ausschluss der Staging-Umgebung übersehen wird
Die Verweise. Eine Testumgebung enthält oft absolute Adressen auf sich selbst, und wenn eine davon in die Live-Fassung gerät, führt sie Besucher und Crawler dorthin. Nach jedem Livegang lohnt die Suche nach dem Hostnamen der Testumgebung im Quelltext und in der Datenbank.
Übersehen wird außerdem die sitemap.xml. Liegt sie auf der Testumgebung und nennt deren Adressen, ist sie eine Einladung. Sie gehört dort abgeschaltet und nicht nur gesperrt.