On-Device-KI bezeichnet KI-Modelle, die auf dem Gerät selbst rechnen statt in einem Rechenzentrum: auf dem Telefon, im Auto, in der Kamera, in der Maschine. Der englische Begriff Edge AI betont dieselbe Sache von der Netzseite her, nämlich die Verarbeitung am Rand statt in der Mitte.
- On-Device-KI (Edge AI)
KI, die auf dem Gerät selbst rechnet statt in einem Rechenzentrum.
Beispiel: „Die On-Device-KI schreibt das Diktat mit, ohne dass die Aufnahme das Telefon verlässt.“Drei Vorteile: Die Daten bleiben auf dem Gerät, die Antwort kommt ohne Netzweg und damit sofort, und es entstehen keine laufenden Kosten je Anfrage.
Möglich wird es durch kleine Modelle und sparsame Speicherung, siehe Small Language Model und Quantisierung, sowie durch eigene Recheneinheiten in den Geräten.
Wo es heute steckt
In mehr Geräten, als man vermutet. Spracherkennung beim Diktieren, Gesichtserkennung beim Entsperren, Bildverbesserung beim Fotografieren, Übersetzung ohne Netz, Textvorschläge beim Tippen: Das alles läuft seit Jahren auf dem Gerät. Neu ist, dass auch Sprachmodelle klein genug geworden sind, um dort zu laufen.
Wo die Grenzen liegen
Bei Speicher, Rechenleistung und Akku. Ein Modell auf einem Telefon ist um Größenordnungen kleiner als eines im Rechenzentrum und kann entsprechend weniger. Dazu kommt die Aktualisierung: Ein Modell im Gerät veraltet und muss über ein Update ausgetauscht werden, während ein Dienst sich im Hintergrund erneuert.
Wofür es im Unternehmen taugt
Für alles, wo Daten nicht nach außen sollen und die Aufgabe begrenzt ist: Aufnahmen auswerten, Formulare lesen, Zustände an Maschinen erkennen, Diktate mitschreiben. Üblich ist eine Aufteilung: Das Gerät erledigt die einfache Arbeit und schickt nur das weiter, was mehr verlangt, und das ist zugleich der sparsamste Weg. In der Industrie ist das längst der Normalfall: Eine Kamera an der Linie erkennt den Fehler selbst, und nach außen geht nur die Meldung. Für den Mittelstand ist das oft der leichteste Einstieg in KI überhaupt, weil weder Datenschutzprüfung noch laufende Kosten anfallen.