Ein Hardcore Model ist ein KI-Modell, das als fest verdrahtete Schaltung auf einem Chip steckt, statt als Software auf einem allgemein verwendbaren Rechner zu laufen. Der Begriff stammt von Taalas; hardcore steht hier für die harte, also unveränderliche Umsetzung in Hardware.
- Hardcore Model
Ein KI-Modell, das als fest verdrahtete Schaltung auf einem Chip steckt.
Beispiel: „Als Hardcore Model braucht dasselbe Modell weder Hochgeschwindigkeitsspeicher noch Flüssigkühlung.“Auch: Hardcore-Modell. Abzugrenzen von einem Beschleuniger wie der GPU oder der TPU: Die führen beliebige Modelle aus, ein Hardcore Model ist eines.
Die Gewichte stecken dabei in stark verkürzter Darstellung im Chip, siehe Quantisierung; das kostet nach Angaben des Herstellers etwas Qualität.
Was der Ansatz einspart
Den Weg zwischen Speicher und Rechenwerk. Weil Rechnen und Gewichte auf demselben Chip sitzen, entfallen Hochgeschwindigkeitsspeicher, aufwendige Gehäusetechnik und Flüssigkühlung, also genau die Teile, die heutige Beschleuniger teuer und knapp machen.
Daraus folgt der zweite Gewinn, der im Betrieb mehr zählt als Geschwindigkeit: deutlich weniger Strom je Antwort, siehe Inferenzkosten.
Was der Ansatz kostet
Beweglichkeit. Ein Chip trägt ein Modell; eine neue Modellgeneration braucht eine neue Fertigung. Feinabstimmung bleibt nach Herstellerangabe möglich, ein Austausch des Modells nicht.
Damit eignet sich der Ansatz für Anwendungen, die über Jahre dasselbe Modell benutzen, und nicht für solche, die alle paar Monate wechseln.
Wo ein Hardcore Model passt
Dort, wo dasselbe Modell lange dieselbe Aufgabe erfüllt: in Geräten, die in Stückzahl gebaut werden, und in Diensten mit hoher Last und festem Funktionsumfang.
Dazu kommt der Fall, in dem Strom die Grenze setzt. Ein Hardcore Model braucht für dieselbe Antwort deutlich weniger davon, was es überall dort interessant macht, wo keine Kühlung für ein Rechenzentrum zur Verfügung steht.