Common Crawl ist eine gemeinnützige Einrichtung aus den Vereinigten Staaten, die seit 2007 ein offenes Archiv des Webs aufbaut und kostenlos bereitstellt. Ihr Crawler sammelt dafür in regelmäßigen Durchläufen Seiten ein, siehe CCBot. Für die KI-Entwicklung ist das Archiv zur wichtigsten frei zugänglichen Quelle für Trainingstexte geworden.
- Common Crawl
Eine gemeinnützige Einrichtung, die seit 2007 ein offenes Archiv des Webs aufbaut und kostenlos bereitstellt.
Beispiel: „Der Textbestand für das Vortraining stammte in weiten Teilen aus Common Crawl.“Was dabei entsteht: Durchläufe in regelmäßigen Abständen, jeder mit Milliarden Seiten, abgelegt als Rohdaten, als Metadaten und als reiner Text. Die Bestände stehen öffentlich zum Herunterladen bereit.
Die Einrichtung ist keine KI-Firma. Sie sammelt für Forschung und Allgemeinheit; dass ihre Bestände zur Grundlage kommerzieller Modelle wurden, ist eine Folge und nicht der Zweck.
Warum das Archiv für KI so wichtig wurde
Weil es die größte frei zugängliche Textsammlung des Webs ist. Wer ein Sprachmodell vortrainieren will, braucht Text in einer Menge, die sich nicht einkaufen lässt; dieses Archiv liefert sie, ohne Vertrag und ohne Kosten. Es steckt deshalb in den Trainingsdaten zahlreicher Modelle, meist nach starker Bereinigung und Auswahl.
Was darin steht und was nicht
Enthalten sind öffentlich erreichbare Seiten, die der Crawler abrufen durfte. Nicht enthalten sind Inhalte hinter Anmeldungen und Bezahlschranken sowie Seiten, die den Crawler über die robots.txt ausschließen. Was einmal in einem Durchlauf liegt, bleibt dort; spätere Sperren wirken nur auf künftige Läufe.
Was Betreiber davon wissen sollten
Dass eine Sperre hier viele Empfänger zugleich betrifft. Weil sich zahlreiche Modellbauer aus denselben Beständen bedienen, wirkt ein Ausschluss breiter als eine Sperre bei einem einzelnen Anbieter. Das macht die Entscheidung wichtiger als bei den übrigen Kennungen, siehe Opt-out vom Training.
Woran man die Durchläufe erkennt
An den Bezeichnungen mit Jahr und Monat. Jeder Durchlauf trägt einen solchen Namen, und Veröffentlichungen über Modelle nennen die verwendeten Durchläufe; daran lässt sich ablesen, bis wann der Textbestand eines Modells reicht.
Wofür das Archiv außerhalb von KI dient
Für Forschung und Auswertung. Sprachforschung, Untersuchungen zur Verbreitung von Technik im Web, Arbeiten zur Linkstruktur und zu Sprachen im Netz greifen darauf zurück, seit es das Archiv gibt. Wer eine Sperre erwägt, trifft diese Nutzung mit, und das gehört in die Abwägung.