Ollama
Open-Source-Sprachmodelle lokal auf dem eigenen Rechner betreiben
Anzeige · „Zum Anbieter“ kann ein Affiliate-Link sein. Bei einem Kauf erhalten wir ggf. eine Provision — für dich ohne Mehrkosten.
Am besten geeignet für
- Entwickler
- Datenschutzbewusste
- Tüftler
Pro
- Kostenlos und Open Source, läuft komplett lokal
- Volle Datenhoheit, nichts verlässt den eigenen Rechner
- Schlanke CLI und einfache API für Entwickler
- Grosse Auswahl an offenen Modellen mit einem Befehl
Contra
- Leistung hängt stark an der eigenen Hardware
- Einrichtung und Modellwahl setzen Technikwissen voraus
Ollama bringt offene Sprachmodelle wie Llama, Mistral oder Qwen mit einem einzigen Befehl auf den eigenen Rechner. Statt Daten an eine Cloud zu schicken, läuft alles lokal, was für datenschutzbewusste Nutzer und Schweizer KMU mit sensiblen Inhalten ein gewichtiges Argument ist. Das Werkzeug ist kostenlos und Open Source, es fallen keine Abogebühren an.
Im Kern steht eine schlanke Kommandozeile plus eine lokale API, über die sich Modelle in eigene Anwendungen einbinden lassen. Damit ist Ollama vor allem für Entwickler interessant, die KI-Funktionen ohne Cloud-Abhängigkeit prototypen oder ausliefern wollen. Ein Modell ist mit einem Befehl heruntergeladen und sofort einsatzbereit.
Der Haken liegt in der Hardware. Wirklich grosse Modelle verlangen viel Arbeitsspeicher und idealerweise eine starke GPU, sonst werden Antworten zäh. Und die Einrichtung setzt mehr Technikverständnis voraus als ein fertiger Cloud-Dienst.
Erst klein anfangen
Starte mit einem kleineren Modell, das zu deinem Arbeitsspeicher passt. So bekommst du flüssige Antworten und kannst dich später an grössere Modelle herantasten.