Transfer Learning bezeichnet das Vorgehen, ein fertig trainiertes Modell als Ausgangspunkt für eine neue Aufgabe zu benutzen. Was das Modell allgemein gelernt hat, bleibt erhalten; angepasst wird nur der Teil, der die neue Aufgabe betrifft.
- Transfer Learning (Transferlernen)
Ein fertig trainiertes Modell als Ausgangspunkt für eine neue Aufgabe benutzen.
Beispiel: „Dank Transfer Learning reichten 800 Fotos für eine Erkennung, die sonst Hunderttausende gebraucht hätte.“Warum es funktioniert: Die unteren Schichten eines Bildmodells erkennen Kanten, Ecken und Flächen. Das ist für Produktfotos dasselbe wie für Katzenbilder, und nur die obere Zuordnung muss neu gelernt werden.
Verhältnis zum Fine-Tuning: Das ist die heute gängigste Art, einen solchen Übertrag durchzuführen.
Warum es heute der Normalfall ist
Weil kaum jemand ein Modell von null trainiert. Große Modelle kosten Rechenzeit in Millionenhöhe und brauchen Datenmengen, über die nur wenige Häuser verfügen. Fast jede KI-Anwendung außerhalb der Forschung setzt deshalb auf einem vorhandenen Modell auf, und was in Projekten Training genannt wird, ist in der Sache ein Übertrag.
Wo es nicht trägt
Wenn die neue Aufgabe zu weit weg liegt. Ein Modell, das auf Fotos trainiert wurde, hilft bei Röntgenbildern nur zum Teil und bei Messreihen aus einer Maschine fast nicht. Dann bringt der Übertrag wenig oder behindert sogar, weil das Modell Muster mitbringt, die hier nicht gelten.
Was es für kleine Projekte bedeutet
Dass eigene Modelle im Bereich des Machbaren liegen. Für eine Bildklassifikation mit einer Handvoll Kategorien reichen einige hundert Beispiele je Kategorie und ein Nachmittag Rechenzeit. Das ist der Grund, warum solche Funktionen heute in Projekten auftauchen, in denen vor zehn Jahren niemand darüber nachgedacht hätte.
Was beim Übertrag eingestellt wird
Welche Teile des Modells sich ändern dürfen und wie stark. Üblich ist, die unteren Schichten zunächst festzuhalten und nur die oberen zu trainieren, danach alles mit einer kleinen Schrittweite nachzuziehen. Eine zu große Schrittweite löscht in wenigen Durchläufen genau das, was man übernehmen wollte, und das Ergebnis liegt dann unter dem Ausgangsmodell.