Ensemble-Verfahren schalten mehrere Modelle zusammen und verbinden ihre Vorhersagen, damit sich ihre Fehler gegenseitig ausgleichen. Das Ergebnis ist in aller Regel besser als das beste Einzelmodell darin.
- Ensemble-Verfahren (Ensemble Methods)
Mehrere Modelle zusammenschalten, damit ihre Fehler sich gegenseitig ausgleichen.
Beispiel: „Das Ensemble-Verfahren aus drei unterschiedlichen Modellen lag zwei Punkte über dem besten einzelnen.“Drei Formen: parallel trainierte Modelle auf zufälligen Teilmengen, nacheinander trainierte Modelle, die jeweils die Fehler des Vorgängers angehen, und eine zweite Ebene, die aus den Ausgaben mehrerer Modelle lernt.
Der bekannteste Vertreter der ersten Form ist der Random Forest: viele Entscheidungsbäume, die abstimmen.
Warum es funktioniert
Weil unterschiedliche Modelle unterschiedliche Fehler machen. Wenn drei Modelle jeweils andere Fälle falsch einordnen, bleibt bei einer Abstimmung meist die richtige Antwort übrig. Voraussetzung ist genau diese Verschiedenheit; drei gleich gebaute Modelle auf denselben Daten irren gemeinsam und bringen nichts.
Was die Verfahren kosten
Rechenzeit und Erklärbarkeit. Zehn Modelle brauchen zehnmal so lange im Training und im Betrieb, und ein Ensemble kann schlechter begründen, warum es so entschieden hat, als ein einzelner Entscheidungsbaum. In Bereichen mit Begründungspflicht ist das ein Ausschlussgrund.
Wo sie bis heute die erste Wahl sind
Bei tabellarischen Daten. Für Kundendaten, Messreihen und Bestellhistorien schlagen nacheinander trainierte Ensembles aus Entscheidungsbäumen die neuronalen Netze seit Jahren regelmäßig, und das bei einem Bruchteil des Aufwands. Wer eine Vorhersage aus einer Tabelle braucht, fängt dort an und nicht beim Sprachmodell.
Was das für Projekte heißt
Erst ein einfaches Modell, dann ein Ensemble, dann etwas Größeres. Die Reihenfolge spart Geld, weil der zweite Schritt in den meisten Fällen genügt und mit vorhandenen Bibliotheken an einem Nachmittag steht. Der Gewinn gegenüber dem Einzelmodell liegt typisch bei wenigen Punkten, und oft entscheiden genau die.
Woher die Verschiedenheit kommt
Aus dem Zufall. Jedes Modell sieht eine andere zufällige Teilmenge der Daten oder der Merkmale, und daraus ergeben sich unterschiedliche Fehler. Wer diesen Zufall abschaltet, bekommt identische Modelle und keinen Gewinn; der Zufallsstartwert gehört deshalb zu den Angaben, die ein Lauf festhält.