Ein KI-Crawler ist ein Programm, das Websites für die Zwecke eines KI-Dienstes abruft. Dahinter stehen zwei verschiedene Absichten, die oft durcheinandergehen: Material für das Training eines Modells sammeln, oder eine Seite im Augenblick einer Frage lesen und in die Antwort einarbeiten.
- KI-Crawler
Ein Programm, das Websites für Training oder Antworten von KI-Diensten abruft.
Beispiel: „In den Protokollen tauchten drei KI-Crawler auf, und nur einer davon holte Material für das Training.“Die wichtigsten Kennungen, Stand Oktober 2026: GPTBot und OAI-SearchBot von OpenAI, ClaudeBot von Anthropic, PerplexityBot von Perplexity, Google-Extended als Steuerungs-Token bei Google, dazu CCBot für den öffentlichen Datenbestand Common Crawl.
Gesteuert werden sie über die robots.txt. Die Regel ist eine Bitte und keine Sperre; die großen Anbieter halten sich daran, und wer es nicht tut, lässt sich damit nicht aufhalten.
Der Unterschied, auf den es ankommt
Training und Antwort auseinanderzuhalten. Wer einen Trainings-Crawler aussperrt, verhindert, dass die Inhalte in künftige Modelle einfließen, und bleibt in den Antworten sichtbar. Wer einen Antwort-Crawler aussperrt, verschwindet aus den Antworten dieses Dienstes und damit aus den Zitierungen. Eine Zeile zu viel in der robots.txt kostet also Sichtbarkeit, die niemand beabsichtigt hat.
OpenAI unterscheidet das in der Dokumentation der eigenen Crawler ausdrücklich: „OAI-SearchBot is for search“, während „GPTBot is used to make our generative AI foundation models more useful and safe“ und sein Ausschluss bedeutet, dass die Inhalte nicht ins Training sollen.
Was sie an Last erzeugen
Mehr als man erwartet. Auf kleineren Websites machen KI-Crawler inzwischen einen erheblichen Teil der Abrufe aus, und bei schlecht gebauten Seiten mit vielen Filterkombinationen können sie Lastspitzen verursachen. Wer das in den Protokollen sieht, begrenzt die Häufigkeit über Crawl-delay oder sperrt die Pfade, die ohnehin niemand lesen soll.
Was wir empfehlen
Für die meisten Websites: Antwort-Crawler zulassen, Trainings-Crawler bewusst entscheiden. Wer von Sichtbarkeit lebt, hat vom Aussperren nichts. Wer eigene, aufwendig erarbeitete Inhalte schützen will, sperrt die Trainings-Crawler und hinterlegt zusätzlich einen maschinenlesbaren Vorbehalt, siehe TDM-Vorbehalt. Die robots.txt allein ist dafür rechtlich dünn.