Ollama ist ein Werkzeug, mit dem sich Modelle mit offenen Gewichten auf dem eigenen Rechner betreiben lassen. Es übernimmt Beschaffung, Verwaltung und Start der Modelle und stellt eine Schnittstelle bereit, die wie die bekannten Dienste anzusprechen ist.
- Ollama
Ein Werkzeug, mit dem sich Modelle mit offenen Gewichten auf dem eigenen Rechner betreiben lassen.
Beispiel: „Mit Ollama lief das Modell auf dem Entwicklungsrechner, und keine Anfrage verließ das Haus.“Was es abnimmt: das Herunterladen in der passenden Größe, die Verkleinerung für die vorhandene Hardware, siehe Quantisierung, und den Betrieb im Hintergrund.
Angesprochen wird es wie eine gewöhnliche Schnittstelle. Damit lassen sich Anwendungen, die für einen Dienst gebaut wurden, ohne großen Aufwand lokal betreiben.
Wofür das taugt
Für Erprobung, für vertrauliche Daten und für Aufgaben in großer Zahl. Ein Modell im Haus verarbeitet Kundendaten ohne Übertragung, kostet nichts je Anfrage und steht offline bereit. Das macht es zum ersten Werkzeug, wenn jemand ausprobieren will, ob ein offenes Modell für eine Aufgabe reicht.
Welche Hardware nötig ist
Mehr Arbeitsspeicher als man denkt. Kleine Modelle laufen auf einem üblichen Arbeitsrechner brauchbar, mittlere brauchen eine Grafikkarte mit viel Speicher, große einen eigenen Rechner. Die Faustregel geht über den Speicherbedarf der Modelldatei, und darunter wird es sehr langsam.
Wo die Grenzen liegen
Bei Qualität und Betrieb. Ein offenes Modell auf einem Arbeitsrechner erreicht nicht die Ergebnisse der großen Dienste, und für einen Mehrbenutzerbetrieb ist das Werkzeug nicht gedacht. Für den Einzelarbeitsplatz und für Erprobung ist es der kürzeste Weg, für den Betrieb im Unternehmen braucht es mehr.
Was der erste Versuch kostet
Eine Stunde. Werkzeug installieren, ein kleines Modell laden, fünfzig eigene Fälle durchlaufen lassen: Danach weiß man, ob ein offenes Modell für die Aufgabe reicht, und das ist eine belastbarere Grundlage als jeder Vergleichswert.