Ein Neuron ist in der KI die kleinste Rechenstelle eines neuronalen Netzes: Es bildet eine gewichtete Summe seiner Eingaben und schickt das Ergebnis durch eine Funktion, die daraus den Ausgabewert macht. Mehr geschieht an dieser Stelle nicht.
- Neuron (KI)
Die kleinste Rechenstelle eines neuronalen Netzes: eine gewichtete Summe mit einer Entscheidungsfunktion.
Beispiel: „Ein Neuron mit 1.024 Eingängen ist nicht mehr als 1.024 Multiplikationen und eine Addition.“Woraus es besteht: ein Gewicht je Eingang, ein Schwellwert und eine Aktivierungsfunktion. Gelernt werden die Gewichte und der Schwellwert, nicht die Funktion.
Gebräuchlich sind auch Einheit und Knoten. In Fachtexten steht häufig Unit, weil der Vergleich mit der Biologie als irreführend gilt.
Was es mit dem biologischen Vorbild zu tun hat
Den Namen und eine Analogie von 1943. Das Vorbild war die Vorstellung einer Nervenzelle, die Reize summiert und ab einer Schwelle feuert. Eine echte Nervenzelle ist unvergleichlich komplizierter, arbeitet mit Zeitmustern und verändert ihre Verbindungen selbst. Die Übertragung des Namens hat der Sache einen Nimbus gegeben, der ihr nicht zusteht.
Warum die Einzelstelle nichts erklärt
Weil die Leistung aus der Menge kommt. Ein einzelnes Neuron kann eine Linie ziehen und sonst nichts; Millionen davon in Schichten können Sprache fortsetzen. Was ein einzelnes davon im fertigen Modell beiträgt, lässt sich meist nicht sagen, und das ist der Grund für die Schwierigkeiten der Erklärbarkeit.
Was die Forschung daran untersucht
Ob sich einzelnen Stellen Bedeutungen zuordnen lassen. Es gibt Neuronen, die bei bestimmten Begriffen zuverlässig anspringen, und es gibt den weit häufigeren Fall, dass eine Bedeutung über viele Stellen verteilt liegt und eine Stelle an vielen Bedeutungen mitwirkt. Diese Vermischung ist der Hauptgrund, warum man einem Modell nicht in den Kopf sehen kann.
Was man im Gespräch damit erklären kann
Dass in einem Modell nichts denkt. Wer wissen will, was ein Sprachmodell innen tut, bekommt mit dieser Stelle die ehrliche Antwort: Multiplizieren, Addieren, eine Schwelle anwenden, millionenfach. Das macht die Leistung nicht kleiner und nimmt der Vorstellung vom Gegenüber den Boden.