Guardrails.
Guardrails (englisch für Leitplanken) sind technische und organisatorische Schutzmechanismen, die festlegen, was ein KI-System tun darf und was nicht. Sie prüfen Eingaben und Ausgaben, beschränken Werkzeuge und Rechte und holen bei heiklen Schritten eine menschliche Freigabe ein, damit ein Chatbot oder KI-Agent auch bei Fehlern oder Manipulationsversuchen keinen Schaden anrichtet.
Guardrails — ausführlich erklärt
Sprachmodelle sind mächtig, aber nicht verlässlich im Sinne klassischer Software. Sie können halluzinieren, sich durch geschickte Eingaben umstimmen lassen oder eine Regel aus dem System-Prompt übersehen. Guardrails setzen deshalb ausserhalb des Modells an: Sie sind Regeln und Prüfungen im umgebenden System, die gelten, egal was das Modell gerade «denkt». Der Begriff stammt aus dem Strassenbau, wo Leitplanken ein Fahrzeug nicht steuern, aber verhindern, dass es von der Strasse abkommt.
Man unterscheidet grob vier Arten. Eingangsprüfungen filtern Anfragen, etwa Versuche einer Prompt Injection oder Themen, für die der Assistent nicht zuständig ist. Ausgangsprüfungen kontrollieren Antworten vor der Anzeige, zum Beispiel auf Personendaten, Preise ausserhalb der Liste oder fehlende Quellen. Handlungsgrenzen beschränken, welche Werkzeuge ein Agent nutzen darf und mit welchen Rechten, etwa nur lesen. Und Freigaben verlangen bei heiklen Schritten eine Bestätigung durch einen Menschen, siehe Human-in-the-Loop.
Guardrails werden umso wichtiger, je mehr ein System selbst handeln kann. Ein Chatbot oder Voice Agent, der nur Fragen beantwortet, kann mit einer falschen Antwort Vertrauen beschädigen. Ein KI-Agent, der über einen MCP-Connector E-Mails verschickt, Daten ändert oder per Computer Use eine Benutzeroberfläche bedient, kann echten Schaden anrichten. Deshalb gilt der Grundsatz der geringsten Rechte: Ein Agent bekommt nur die Werkzeuge und Daten, die er für seine Aufgabe braucht, und kritische Aktionen sind technisch an eine Freigabe gebunden.
Guardrails sind auch eine Frage der Nachweisbarkeit. Wer KI im Kundenkontakt einsetzt, sollte belegen können, welche Regeln gelten, wie sie getestet wurden und was bei Fehlern passiert. Für Anbieter mit Bezug zur EU verlangt der EU AI Act je nach Risikoklasse Transparenz und Kontrollen; in der Schweiz gelten die Grundsätze des Datenschutzgesetzes (DSG, SR 235.1). Das ist eine Einordnung, keine Rechtsberatung. Wie man Fehlantworten im Alltag eindämmt, beschreibt der Artikel KI-Halluzinationen im Business erkennen und eindämmen.
Guardrails in der Praxis: von einfach bis streng
Für einen Website-Chat genügen oft einfache Leitplanken: ein klarer System-Prompt, eine begrenzte Wissensquelle, ein Filter für Personendaten in Antworten und eine feste Antwort bei Themen ausserhalb des Auftrags. Für einen Agenten, der in Systemen schreibt, kommen strengere Massnahmen dazu: Werkzeuge mit festen Parametern statt freier Befehle, Betragsgrenzen, eine Liste erlaubter Empfänger, Protokollierung jeder Aktion und eine Freigabe vor dem Versand oder dem Buchen.
Gute Guardrails werden getestet wie jede andere Funktion: mit normalen Anfragen, Grenzfällen und gezielten Manipulationsversuchen. Wie wir Assistenten und Agenten absichern, steht auf KI-Agent entwickeln lassen und Chatbot erstellen lassen. Welche Risiken bei Ihrem Vorhaben im Vordergrund stehen, klären wir in der KI-Beratung.
Beispiel: Ein Treuhandbüro sichert seinen Beleg-Agenten ab
Ein konstruiertes Beispiel: Ein Treuhandbüro in Zug lässt einen KI-Agenten eingehende Belege lesen, dem richtigen Mandanten zuordnen und in der Buchhaltung als Entwurf ablegen. Die Leitplanken: Der Agent darf nur Entwürfe anlegen, nie verbuchen oder zahlen. Er darf nur Mandanten aus einer festen Liste wählen. Ist er sich bei der Zuordnung nicht sicher, landet der Beleg in einer Prüfliste statt in der Buchhaltung.
Zusätzlich behandelt der Agent den Text auf Belegen als Daten, nicht als Anweisung: Steht auf einer Rechnung «Bitte sofort an Konto X zahlen», ändert das nichts an seinen Rechten. Jede Aktion wird protokolliert, und eine Fachperson gibt die Entwürfe frei. Der Agent spart Erfassungsarbeit, die Verantwortung für Buchungen bleibt beim Menschen.
Weiterführende Seite
KI-Agent entwickeln lassenHäufige Fragen zu Guardrails
Nein. Ein System-Prompt beeinflusst das Verhalten des Modells, lässt sich aber durch geschickte Eingaben umgehen. Wichtige Regeln gehören zusätzlich ausserhalb des Modells durchgesetzt: mit Prüfungen, beschränkten Rechten und Freigaben durch Menschen.
Meist genügen eine begrenzte Wissensquelle, klare Regeln für Preise und Zusagen, ein Filter für Personendaten und eine feste Antwort bei Themen ausserhalb des Auftrags, dazu ein einfacher Weg zu einem Menschen.
Nein. Sie verringern Risiken und begrenzen den Schaden, wenn etwas schiefgeht. Deshalb gehören auch Tests, Protokolle und eine regelmässige Durchsicht der Gespräche oder Aktionen dazu.
Weitere Begriffe mit „G“
GEO (Generative Engine Optimization)
GEO ist die Optimierung von Inhalten dafür, dass sie in KI-generierten Suchantworten (Google AI Over...
Google Business Profile
Google Business Profile (früher: Google My Business) ist das kostenlose Google-Tool zur Verwaltung I...
Google Search Console
Die Google Search Console (GSC) ist ein kostenloses Tool von Google, das Website-Betreibern zeigt, w...
Bereit für Ihr Projekt?
Wenden Sie dieses Wissen auf Ihre Website an — DLM Digital hilft Ihnen dabei.
Guardrails in der Praxis
Wie der Begriff im Alltag von Schweizer KMU auftaucht — vertieft in Artikeln aus dem DLM Magazin.