Data Poisoning ist das absichtliche Verändern von Trainingsdaten, um einem Modell ein gewünschtes Fehlverhalten beizubringen. Der Angriff setzt vor dem Betrieb an und nicht während der Nutzung; das Modell verhält sich danach dauerhaft so, wie es der Angreifer eingerichtet hat.
- Data Poisoning (Datenvergiftung)
Das absichtliche Verändern von Trainingsdaten, um einem Modell ein gewünschtes Fehlverhalten beizubringen.
Beispiel: „Das Data Poisoning bestand aus 200 manipulierten Seiten, die der Sammelvorgang mitnahm.“Betroffen sind alle Stufen: das Vortraining, das Nachtraining und die Daten, aus denen Embeddings für eine Wissensbasis entstehen.
Eine typische Wirkung ist eine Hintertür: Das Modell arbeitet normal und schaltet nur bei einem bestimmten Auslösewort in das vorgesehene Fehlverhalten um.
Warum das überhaupt geht
Weil große Trainingsbestände aus dem offenen Netz stammen. Wer weiß, welche Adressen ein Sammelvorgang anfährt, kann dort Inhalte hinterlegen, und bei Beständen in Milliardengröße reichen dafür erstaunlich wenige Seiten. Dasselbe gilt für Datensätze, die über Jahre weitergegeben werden: Eine Quelle, die den Besitzer wechselt, kann nachträglich andere Inhalte ausliefern.
Die Projektgruppe OWASP führt den Angriff in ihrer Liste der zehn größten Risiken bei Sprachmodell-Anwendungen als LLM04:2025 Data and Model Poisoning und zählt dort auch die Einspeisung über Nutzereingaben dazu, die später wieder im Training landen.
Was ihn eindämmt
Herkunftsnachweise für jeden Datenbestand, Prüfsummen über die eingelesenen Dateien und eine Abnahme, die gezielt nach Auslösewörtern sucht. Für eigene Projekte ist die wichtigste Maßnahme banal: Nachtraining nur mit Daten aus dem eigenen Haus oder aus einer Quelle mit Vertrag, und niemals mit einem Datensatz, den jemand ohne Nachweis bereitstellt.
Warum eine Wissensbasis genauso betroffen ist
Weil dort kein Training dazwischensteht. Ein manipuliertes Dokument in einem Bestand, aus dem ein System Antworten zusammensetzt, wirkt sofort und lässt sich ohne Training wieder entfernen. Das macht diesen Weg für Angreifer bequemer und für Betreiber beherrschbarer: Wer schreibend auf die Wissensbasis zugreifen darf, ist die eigentliche Frage.