CCBot ist der Crawler von Common Crawl, einer gemeinnützigen Einrichtung, die seit Jahren ein offenes Archiv des Webs aufbaut und kostenlos bereitstellt. Dieses Archiv steckt in den Trainingsbeständen vieler Sprachmodelle.
- CCBot
Der Crawler der Einrichtung Common Crawl, deren offenes Archiv in vielen Trainingsbeständen steckt.
Beispiel: „CCBot sammelte die Seite schon Jahre bevor von Sprachmodellen die Rede war.“Die Einrichtung ist keine KI-Firma. Sie sammelt für Forschung und Allgemeinheit; dass ihr Archiv zur Grundlage kommerzieller Modelle wurde, ist eine Folge und nicht der Zweck.
Gesteuert wird der Crawler über die robots.txt mit seiner Kennung.
Warum eine Sperre hier besonders wirkt
Weil sie viele Empfänger zugleich betrifft. Wer diesen Crawler sperrt, fehlt in einem Archiv, aus dem sich zahlreiche Modellbauer bedienen; eine Sperre bei einem einzelnen Anbieter wirkt dagegen nur dort. Das macht diese Kennung zur wichtigsten in der Datei, wenn Training das Thema ist.
Was die Sperre nicht leistet
Rückwirkung. Was in früheren Sammlungen liegt, bleibt dort, und diese Sammlungen sind öffentlich verfügbar. Eine Sperre heute wirkt auf künftige Durchläufe, siehe Opt-out vom Training.
Was bei der Entscheidung abzuwägen ist
Forschung gegen Verwertung. Das Archiv dient auch Sprachforschung, Webanalyse und offenen Projekten; eine Sperre trifft diese mit. Wer Inhalte als Kapital betrachtet, sperrt trotzdem, und wer Sichtbarkeit sucht, lässt offen. Eine dritte Möglichkeit gibt es bei dieser Kennung nicht.
Was das Archiv für Forschung bedeutet
Eine der wenigen offenen Grundlagen zum Web. Sprachforschung, Netzanalyse und Untersuchungen zur Verbreitung von Technik arbeiten damit; das ist der Teil, der bei der Entscheidung über eine Sperre mitgewogen gehört.