Distillation, auf Deutsch Destillation, heißt im maschinellen Lernen: Ein großes Modell bringt einem kleineren sein Verhalten bei. Das kleine Modell lernt dabei an den Ausgaben des großen, statt an den ursprünglichen Daten, und erreicht damit einen Teil seiner Leistung bei einem Bruchteil der Größe.
- Distillation
Ein großes KI-Modell bringt einem kleineren sein Verhalten bei.
Beispiel: „Nach der Distillation lief das Modell auf einer einzelnen Grafikkarte und beantwortete die Standardfälle ebenso gut.“Die Rollen heißen Lehrer und Schüler. Der Lehrer ist das große Modell, der Schüler das kleine, und gelernt wird an den Wahrscheinlichkeitsverteilungen des Lehrers; die enthalten mehr Information als die bloße richtige Antwort.
Abgrenzung zur Quantisierung: Die verkleinert ein bestehendes Modell, indem sie seine Zahlen gröber speichert. Die Distillation erzeugt ein neues, kleineres Modell mit eigenem Training.
Der Begriff geht auf „Distilling the Knowledge in a Neural Network“ (Hinton, Vinyals, Dean, März 2015) zurück. Die Arbeit knüpft an frühere Versuche an, „to compress the knowledge in an ensemble into a single model which is much easier to deploy“, und zeigt den Nutzen an einem damals kommerziell eingesetzten Akustikmodell.
Wofür es heute benutzt wird
Für die kleinen, schnellen Modelle der großen Anbieter. Wenn eine Modellfamilie in drei Größen erscheint, steckt hinter der kleinsten in der Regel ein Verfahren dieser Art. Dasselbe passiert in Unternehmen: Ein großes Modell erzeugt Beispielantworten für die eigenen Fälle, ein kleines wird darauf trainiert und übernimmt anschließend den Massenbetrieb zu einem Bruchteil der Kosten.
Wo die Grenze liegt
Beim Umfang. Ein Schüler übernimmt das Verhalten in dem Bereich, in dem er Beispiele gesehen hat, und fällt außerhalb davon deutlich zurück. Für eine klar umrissene Aufgabe ist das kein Problem und oft die beste Rechnung. Als Ersatz für ein großes Modell im offenen Gespräch taugt ein destilliertes Modell nicht, weil dort genau die Fälle vorkommen, die im Beispielmaterial fehlten. Rechtlich kommt ein zweiter Punkt hinzu: Die Nutzungsbedingungen mancher Anbieter untersagen es, mit den Ausgaben ihrer Modelle konkurrierende Modelle zu trainieren. Wer destilliert, prüft das vorher.