One-Hot-Encoding ist die Umwandlung einer Kategorie in eine Reihe von Ja-Nein-Spalten, je eine für jeden möglichen Wert. Ein KI-Modell rechnet mit Zahlen, und eine Angabe wie die Farbe oder das Land muss vorher in diese Form gebracht werden.
- One-Hot-Encoding (One-Hot-Kodierung)
Die Umwandlung einer Kategorie in eine Reihe von Ja-Nein-Spalten, je eine für jeden möglichen Wert.
Beispiel: „Aus der Spalte mit sechs Farben wurden per One-Hot-Encoding sechs Spalten mit null und eins.“Der Name beschreibt das Ergebnis: In jeder Zeile steht genau eine Eins, alles andere ist null. Daher auch die deutsche Bezeichnung mit dem einen heißen Wert.
Warum Durchnummerieren falsch wäre: Werte eins bis sechs für sechs Farben behaupten eine Reihenfolge und Abstände, die es nicht gibt. Das Modell lernt diese Behauptung mit.
Wo die Methode an Grenzen stößt
Bei vielen Werten. Eine Spalte mit 20.000 Postleitzahlen ergibt 20.000 neue Spalten, von denen jede fast nur Nullen enthält; das kostet Speicher und bringt dem Modell wenig. Üblich sind dann Zusammenfassungen zu Gruppen oder ein Embedding, das jedem Wert eine kurze Zahlenreihe gibt und Ähnlichkeiten darin abbildet.
Was bei neuen Werten passiert
Sie fehlen. Die Spalten entstehen aus den Werten der Trainingsdaten, und ein Land, das darin nicht vorkam, hat im Betrieb keine Spalte. Dafür braucht es von Anfang an eine Sammelspalte für Unbekanntes, sonst bricht die Anwendung beim ersten neuen Wert ab. Das ist einer der häufigsten Fehler beim Übergang in den Betrieb.
Was daneben steht
Zwei weitere Verfahren. Eine geordnete Kodierung für Kategorien, die wirklich eine Reihenfolge haben, etwa Schulnoten oder Größenangaben. Und eine Kodierung über den Mittelwert der Zielgröße je Kategorie, die bei vielen Werten sparsamer ist und sorgfältig getrennt berechnet werden muss, sonst entsteht ein Leck in die Trainingsdaten.
Warum das bei Sprachmodellen nicht vorkommt
Weil dort alles über Zahlenreihen läuft. Ein Sprachmodell wandelt jedes Textstück ohnehin in eine erlernte Zahlenreihe um, und Kategorien sind darin einfach Wörter. Das Verfahren gehört deshalb zur klassischen Seite des Machine Learning, und dort ist es seit Jahrzehnten der Standardschritt vor jedem Training.