Von unausgewogenen Daten spricht man, wenn beim Training eines KI-Modells die gesuchte Klasse sehr viel seltener vorkommt als die übrigen. Betrug, Ausfälle, Krankheiten und Kündigungen sind typische Fälle: Der interessante Fall macht oft weniger als ein Prozent aus.
- Unausgewogene Daten (Machine Learning)
Ein Trainingsbestand, in dem die gesuchte Klasse sehr viel seltener vorkommt als die übrigen.
Beispiel: „Bei unausgewogenen Daten mit 0,3 Prozent Betrugsfällen sagt die Genauigkeit nichts.“Warum das Modelle in die Irre führt: Ein Lernverfahren, das auf möglichst wenige Fehler zielt, erreicht sein Ziel am einfachsten, indem es die seltene Klasse ignoriert. Das ist kein Versagen, sondern die beste Antwort auf eine schlecht gestellte Frage.
Die Folge für die Messung: Die Genauigkeit wird unbrauchbar, und es zählen Präzision, Trefferquote und die Verteilung der Fehler.
Was dagegen hilft
Drei Wege, die sich kombinieren lassen. Die seltene Klasse im Training stärker gewichten, damit ein Fehler dort teurer zählt. Die Daten ausgleichen, indem seltene Fälle vervielfacht oder häufige ausgedünnt werden. Und die Entscheidungsschwelle nachträglich verschieben, statt am Modell zu arbeiten; das ist der einfachste Weg und oft der wirksamste.
Was man dabei nicht tun sollte
Die Daten ausgleichen und anschließend am ausgeglichenen Bestand messen. Die Messung muss an der wirklichen Verteilung stattfinden, sonst beschreibt sie eine Welt, die es nicht gibt. Das ist einer der häufigsten Fehler in Projekten, und er fällt erst im Betrieb auf, wenn die Zahl der Fehlalarme explodiert.
Wann die Daten das Problem sind
Wenn die seltene Klasse zusätzlich zur Seltenheit auch absolut wenige Fälle umfasst. Bei 0,3 Prozent von zehn Millionen Fällen sind das immerhin 30.000 Beispiele, und damit lässt sich arbeiten. Bei 0,3 Prozent von zehntausend sind es dreißig, und dafür gibt es kein Verfahren. Dann hilft nur, mehr Fälle zu sammeln oder die Aufgabe anders zu schneiden. Der zweite Weg wird unterschätzt: Statt Betrug vorherzusagen, lässt sich oft ein häufigerer Vorläufer vorhersagen, und der reicht für die Handlung aus.