Lokale LLMs vs. Cloud: Wann sich Self-Hosting lohnt

Die Standardannahme lautet: KI kommt aus der Cloud. Man schickt seine Anfrage an die Server von OpenAI, Anthropic oder Google und bekommt eine Antwort zurück. Für die meisten Fälle ist das auch der richtige Weg, weil es einfach, leistungsstark und ohne Hardware-Investition zu haben ist. Doch es gibt eine wachsende Zahl von Situationen, in denen Schweizer KMU genauer hinschauen sollten, ob die Cloud wirklich die beste Wahl ist. Die Alternative heisst lokales LLM: ein Sprachmodell, das auf dem eigenen Rechner oder Server läuft, ohne dass je ein Datenbyte das Haus verlässt.

Was vor zwei Jahren noch Bastlern vorbehalten war, ist 2026 erstaunlich zugänglich geworden. Leistungsfähige Open-Source-Modelle stehen frei zur Verfügung, und die Werkzeuge zum Betrieb sind so weit gereift, dass auch technisch interessierte Nicht-Spezialisten ein Modell auf dem eigenen Gerät zum Laufen bringen. Die Frage ist also nicht mehr, ob es geht, sondern wann es sich lohnt.

Die echten Vorteile von Self-Hosting

Drei Argumente sprechen für den lokalen Betrieb, und sie wiegen je nach Situation unterschiedlich schwer.

Das stärkste ist die Datenhoheit. Bei einem lokalen Modell verlassen eure Daten niemals das Unternehmen. Es gibt keinen externen Dienstleister, keine Frage, ob Eingaben gespeichert oder fürs Training genutzt werden, keine Datenübermittlung ins Ausland. Für hochsensible Informationen, etwa Gesundheitsdaten, Anwaltsakten oder vertrauliche Geschäftsgeheimnisse, ist das ein gewichtiges Argument, das unter dem revidierten DSG schwer wiegt. Was nie übermittelt wird, kann auch nicht abfliessen.

Das zweite Argument sind die Kosten bei hohem Volumen. Cloud-Modelle rechnen pro verarbeitetem Text ab. Wer KI nur gelegentlich nutzt, zahlt wenig. Wer aber dauerhaft grosse Mengen verarbeitet, etwa Tausende Dokumente täglich klassifiziert, bei dem summieren sich die Token-Kosten erheblich. Ein lokales Modell kostet nach der einmaligen Hardware-Investition praktisch nichts mehr pro Anfrage. Ab einem gewissen Dauervolumen kippt die Rechnung zugunsten des Self-Hostings.

Das dritte Argument ist die Unabhängigkeit. Wer auf einen externen Anbieter setzt, ist dessen Preisänderungen, Modellabschaltungen und Verfügbarkeit ausgeliefert. Ein lokales Modell läuft, solange die Hardware läuft, unabhängig von Preisrunden und Anbieterentscheidungen. Für kritische Prozesse kann diese Verlässlichkeit zählen.

Die ehrlichen Grenzen

Self-Hosting ist kein Allheilmittel, und drei Nachteile gehören klar benannt.

Erstens die Leistung. Die besten Cloud-Modelle bleiben in der Spitze überlegen, besonders bei komplexen, mehrstufigen Aufgaben. Gute Open-Source-Modelle haben stark aufgeholt und reichen für viele Standardaufgaben aus, aber für die anspruchsvollsten Fälle bleibt die Cloud vorn. Wer lokal arbeitet, akzeptiert oft einen Kompromiss zwischen Datenhoheit und Spitzenqualität.

Zweitens die Hardware. Modelle in voller Grösse brauchen leistungsfähige, teils teure Hardware, vor allem eine starke Grafikkarte mit viel Speicher. Kleinere Modelle laufen auf vorhandenen Geräten, aber mit Abstrichen. Die einmalige Investition und der Stromverbrauch gehören in jede ehrliche Rechnung.

Drittens der Aufwand. Ein lokales Modell will eingerichtet, aktualisiert und betrieben werden. Es gibt keinen Anbieter, der im Hintergrund alles wartet. Für ein KMU ohne IT-Ressourcen ist das ein realer Faktor, auch wenn die Werkzeuge den Einstieg stark erleichtert haben.

Die Werkzeuge, die den Einstieg leicht machen

Der Grund, warum lokale LLMs überhaupt für KMU infrage kommen, sind ausgereifte Werkzeuge, die den früher abschreckenden Aufwand auf ein erträgliches Mass senken.

Ollama hat sich als der Standard für den unkomplizierten Betrieb lokaler Modelle etabliert. Mit wenigen Befehlen lädt es ein Open-Source-Modell herunter und stellt es bereit, inklusive einer Schnittstelle, über die eigene Anwendungen darauf zugreifen. Für Entwickler und technisch versierte Teams ist es der schnellste Weg, ein lokales Modell produktiv anzubinden, etwa an ein internes Tool oder einen Automatisierungs-Workflow.

Wer es lieber grafisch mag, greift zu LM Studio. Es bietet eine benutzerfreundliche Oberfläche, über die sich Modelle auswählen, herunterladen und direkt im Chat ausprobieren lassen, ohne eine einzige Befehlszeile. Damit eignet es sich hervorragend, um überhaupt erst ein Gefühl dafür zu bekommen, was lokale Modelle leisten, und um verschiedene Modelle auf der eigenen Hardware zu testen, bevor man sich festlegt.

Beide Werkzeuge zusammen ergeben einen guten Einstiegspfad: Mit LM Studio testen, was auf der vorhandenen Hardware gut läuft und für die eigenen Aufgaben reicht, und mit Ollama das gewählte Modell dann sauber in Anwendungen und Automatisierungen einbinden.

Die Entscheidungshilfe für KMU

Fassen wir die Entscheidung praktisch zusammen. Bleibt bei der Cloud, wenn ihr KI eher gelegentlich nutzt, Spitzenleistung für komplexe Aufgaben braucht, keine IT-Ressourcen für den Betrieb habt und eure Daten über einen Geschäftsplan mit Datenschutzgarantie ausreichend geschützt sind. Für die grosse Mehrheit der KMU ist das nach wie vor der pragmatische Standardweg.

Schaut euch Self-Hosting genauer an, wenn ihr regelmässig mit hochsensiblen Daten arbeitet, die das Haus nicht verlassen dürfen, wenn ihr ein hohes, dauerhaftes Verarbeitungsvolumen habt, bei dem Token-Kosten ins Gewicht fallen, oder wenn Unabhängigkeit von einem Anbieter strategisch wichtig ist. In diesen Fällen kann der Mehraufwand sich klar rechnen, sowohl finanziell als auch beim Datenschutz.

Der beste erste Schritt ist günstig und unverbindlich: Ladet euch ein Werkzeug wie LM Studio, probiert ein passendes Open-Source-Modell auf eurer vorhandenen Hardware aus und prüft an einer echten Aufgabe, ob die Qualität für euren Zweck reicht. Diese halbe Stunde Experiment sagt mehr als jede Tabelle und zeigt euch direkt, ob der lokale Weg für euch ein Thema ist oder ob die Cloud die richtige Wahl bleibt.