Whisper ist das Spracherkennungsmodell von OpenAI, 2022 mit offenen Gewichten veröffentlicht. Es setzt gesprochene Sprache in Text um, erkennt die Sprache selbst und kann dabei auch ins Englische übersetzen.
- Whisper
Das Spracherkennungsmodell von OpenAI, mit offenen Gewichten veröffentlicht.
Beispiel: „Die Untertitel für das Webinar entstanden mit Whisper auf dem eigenen Rechner.“Es gibt mehrere Größen, von sehr klein bis groß. Die kleinen laufen auf einem Arbeitsrechner in Echtzeit, die großen brauchen eine Grafikkarte und erkennen deutlich besser.
Wegen der offenen Gewichte lässt es sich im Haus betreiben, und damit verlassen Tonaufnahmen den Betrieb nicht, siehe Open-Weight-Modelle.
Wofür es taugt
Für Untertitel, Transkripte und Diktat. Bei klarer Aufnahme und einer sprechenden Person ist die Erkennung so gut, dass die Nacharbeit in Minuten erledigt ist, siehe Untertitelgenerierung. Für Besprechungsprotokolle mit mehreren Stimmen braucht es zusätzlich eine Sprechertrennung.
Wo seine Schwächen liegen
Bei Fachwörtern, Eigennamen und Zahlen, und in einem Sonderfall: Bei Stille oder undeutlichem Ton erfindet das Modell gelegentlich Sätze, die nie gesprochen wurden. Das ist bei Untertiteln unangenehm und bei Protokollen gefährlich, und es ist der Grund für die Pflicht zur Durchsicht.
Warum es in Projekten so verbreitet ist
Weil es offen, gut und alt genug ist. Es gibt dafür fertige Werkzeuge, Erfahrungswerte und schnellere Nachbauten, und es läuft ohne Vertrag und ohne Kosten je Minute. Für Betriebe mit vertraulichen Aufnahmen ist das der entscheidende Punkt.
Was daneben steht
Schnellere Nachbauten und Dienste der Anbieter. Für große Mengen lohnt ein Blick auf die optimierten Ausführungen, die dasselbe Modell deutlich schneller ausführen; für vertrauliche Aufnahmen bleibt der eigene Betrieb der Punkt.