Sprachverarbeitung, englisch Natural Language Processing und kurz NLP, ist das Teilgebiet der künstlichen Intelligenz, das menschliche Sprache maschinell verarbeitet. Dazu gehört alles vom Zerlegen eines Satzes bis zum Beantworten einer Frage.
- Sprachverarbeitung (NLP)
Das Teilgebiet der KI, das menschliche Sprache maschinell verarbeitet.
Beispiel: „Die Sprachverarbeitung sortiert eingehende Mails nach Anliegen, bevor ein Mensch sie öffnet.“Klassische Aufgaben: Texte einsortieren, Namen und Orte erkennen, Stimmung bestimmen, übersetzen, zusammenfassen, Fragen beantworten, Rechtschreibung prüfen.
Der erste Schritt ist fast immer die Zerlegung in Token, der zweite die Umrechnung in Zahlenfolgen, siehe Embedding.
Wie Sprachmodelle das Feld verändert haben
Sie haben die Einzelaufgaben eingeschmolzen. Bis etwa 2019 baute man für jede Aufgabe ein eigenes System mit eigenem Trainingsmaterial: eines zum Einsortieren, eines zum Übersetzen, eines zum Zusammenfassen. Heute erledigt ein großes Sprachmodell alle diese Aufgaben ohne eigenes Training, gesteuert über die Anweisung im Prompt. Spezialisierte Verfahren leben dort weiter, wo Geschwindigkeit, Preis oder Nachvollziehbarkeit zählen.
Warum das Fach trotzdem gebraucht wird
Weil die Auswertung und die Vorbereitung bleiben. Texte zerlegen, Dubletten finden, Namen vereinheitlichen, Abschnitte bilden: Diese Arbeit entscheidet darüber, was ein Sprachmodell am Ende zu sehen bekommt, und sie ist die unspektakuläre Hälfte jedes Projekts.
Wo es im Webumfeld vorkommt
In der Suche auf der eigenen Website, in der Sortierung von Formularanfragen, bei Übersetzungen und bei der Auswertung von Bewertungen. In all diesen Fällen lohnt der Blick auf die Sprache: Deutsche Texte mit Zusammensetzungen und Umlauten sind für viele Werkzeuge schwerer als englische, und das zeigt sich in den Ergebnissen. Geprüft wird das am besten mit zwanzig echten Beispielen aus dem eigenen Bestand, nicht mit den Beispielen des Anbieters. Wer Fachsprache verwendet, legt zusätzlich eine Liste der eigenen Begriffe an, weil daran die meisten Fehler entstehen. Diese Liste ist später auch für andere Werkzeuge nützlich, von der Spracherkennung bis zur Übersetzung.