GPTBot ist der Crawler, mit dem OpenAI Material für das Training seiner Modelle sammelt. Er ruft öffentlich erreichbare Seiten ab und hinterlässt dabei eine eigene Kennung in den Server-Protokollen.
- GPTBot
Der Crawler, mit dem OpenAI Material für das Training seiner Modelle sammelt.
Beispiel: „GPTBot ist in der robots.txt gesperrt, der Suchcrawler desselben Anbieters bleibt zugelassen.“Nicht zu verwechseln mit den beiden anderen Kennungen von OpenAI: OAI-SearchBot bedient die Suche, ChatGPT-User holt Seiten, die ein Nutzer im Gespräch selbst anfordert.
Ausgesperrt wird er mit zwei Zeilen in der robots.txt: der Angabe des Crawlers und einem Verbot für den ganzen Pfad. Die Sperre wirkt erst beim nächsten Durchlauf und nimmt nichts zurück, was bereits im Training steckt.
In der Dokumentation von OpenAI heißt es: „GPTBot is used to make our generative AI foundation models more useful and safe“, und: „Disallowing GPTBot indicates a site's content should not be used in training generative AI foundation models.“ Für ChatGPT-User gilt ausdrücklich etwas anderes, denn er „is not used for crawling the web in an automatic fashion“ und die robots.txt greift bei ihm möglicherweise nicht.
Was eine Sperre bewirkt und was nicht
Sie hält künftiges Training von den eigenen Inhalten ab. Sie entfernt nichts aus bestehenden Modellen, und sie verhindert nicht, dass derselbe Text über eine andere Quelle ins Training gelangt, etwa über eine Website, die ihn übernommen hat. Auch die Nennung in Antworten bleibt möglich, solange das Modell den Namen schon kennt.
Wie wir damit umgehen
Auf unserer Website ist GPTBot zugelassen. Für uns ist die Sichtbarkeit in KI-Antworten wertvoller als der Schutz von Texten, die ohnehin öffentlich stehen. Bei Kundenprojekten fragen wir das ausdrücklich ab: Wer Fachinhalte als Geschäftsgrundlage hat, etwa ein Verlag oder ein Fortbildungsanbieter, entscheidet sich häufig anders, und das ist dann eine Entscheidung mit Begründung und nicht eine Voreinstellung. Festgehalten wird sie an einer Stelle, an der sie später wiederzufinden ist, am besten als Kommentar in der robots.txt mit Datum und Grund.