Die robots.txt ist eine Textdatei im Wurzelverzeichnis einer Website, die Suchmaschinen mitteilt, welche Bereiche sie abrufen sollen und welche nicht. Sie steuert damit, was abgerufen wird. Über die Aufnahme in den Index entscheidet sie nicht. Beachtet wird sie freiwillig, von den großen Suchmaschinen allerdings zuverlässig.
- robots.txt
Textdatei im Wurzelverzeichnis, die Suchmaschinen mitteilt, welche Bereiche sie nicht abrufen sollen.
Beispiel: „Die robots.txt sperrt den internen Suchbereich für Crawler.“Auch: Robots Exclusion Standard, nach dem Verfahren, das die Datei beschreibt. Sie liegt immer unter der Adresse /robots.txt und nirgendwo sonst.
Abgrenzung zu noindex: Die robots.txt verhindert das Abrufen. Die Angabe noindex im Kopf einer Seite verhindert die Aufnahme in den Index. Wer beides verwechselt, erreicht das Gegenteil des Gewollten.
Was in der Datei steht
Je Abschnitt ein User-agent, für den die folgenden Regeln gelten, darunter die gesperrten Pfade. Ein Stern steht für alle Crawler. Am Ende gehört der Verweis auf die sitemap.xml hinein, denn hier sucht eine Suchmaschine zuerst danach.
User-agent: *
Disallow: /suche/
Disallow: /warenkorb/
Allow: /
Sitemap: https://www.beispiel.de/sitemap.xmlDen Aufbau und die Reihenfolge der Regeln beschreibt Google in seiner Einführung zur robots.txt. Dort steht auch, dass bei widersprüchlichen Regeln die genauere gewinnt und nicht die zuletzt notierte.
Gesperrt heißt nicht unsichtbar
Das größte Missverständnis betrifft die Wirkung. Eine über die robots.txt gesperrte Seite kann trotzdem in den Suchergebnissen auftauchen, nämlich dann, wenn andere Seiten auf sie verlinken. Die Suchmaschine kennt dann die Adresse, aber nicht den Inhalt, und zeigt den Treffer ohne Beschreibung.
Wer eine Seite wirklich aus dem Index halten will, setzt noindex und lässt die Seite abrufbar. Ist sie über die robots.txt gesperrt, kann die Suchmaschine das noindex gar nicht lesen.
Was wir sperren und was nicht
Gesperrt werden Bereiche ohne eigenen Wert, etwa die interne Suche mit ihren unendlich vielen Ergebnisadressen, der Warenkorb und Testumgebungen. Alles andere bleibt offen, auch Bilder und Stylesheets: Werden sie gesperrt, kann Google die Seite nicht so darstellen, wie ein Besucher sie sieht, und bewertet sie entsprechend.