KI-Crawler sperren, bezahlen lassen, lizenzieren: der Stand im November 2026
Google will ab 2027 ein gemeinsames KI-Trainings-Signal in robots.txt unterstützen, Cloudflare testet Bezahlmodelle für KI-Zugriffe, RSL nennt sich offener Standard. Was davon belegt ist, was in der Schweiz gilt und warum die meisten KMU-Websites offen bleiben sollten.
Viele Website-Betreiber haben in den letzten Monaten Meldungen gelesen wie «KI-CrawlerKI-Crawler sind Bots von KI-Anbietern, die Websites abrufen, um Sprachmodelle zu trainieren oder um Inhalte für Antworten in Echtzeit zu holen. Beispiele sind…Mehr erfahren → endlich sperren» oder «KI-Firmen sollen fürs Crawlen zahlen». Dahinter stecken unterschiedliche Dinge mit unterschiedlichem Reifegrad. Dieser Bericht sortiert sie. Grundlage sind der Google Search Central Blog, die Search-Console-Hilfe, der IETF Datatracker, Doku und Blog von Cloudflare und die Seite des RSL Collective, alle abgerufen am 11. November 2026.
Was ist passiert
Pay per crawl: erweiterte Einstellungen
Letzter Changelog-Eintrag, das Angebot bleibt geschlossene Beta.
AIPREF-Vokabular in Version 08
IETF-Entwurf mit Ziel Proposed Standard, noch kein RFC.
Cloudflare Monetization Gateway (Beta)
Nur für berechtigte Verkäufer und Käufer in den USA.
Google kündigt gemeinsames KI-Trainings-Signal an
Unterstützung zusammen mit anderen KI-Anbietern in 2027.
2027
Geplante Unterstützung durch Google
Ein genaueres Datum nennt Google nicht.
Google und das gemeinsame Trainings-Signal. Am 30. Oktober 2026 hat John Mueller im Google Search Central Blog angekündigt, dass Google ein gemeinsames Steuersignal für KI-Training in robots.txtDie robots.txt ist eine Textdatei im Web-Root, die Suchmaschinen-Crawlern mitteilt, welche Bereiche einer Website sie aufrufen dürfen und welche nicht. Sie…Mehr erfahren → unterstützen will. Es beruht auf der Arbeit der AIPREF-Arbeitsgruppe der Internet Engineering Task Force. Google will das zusammen mit anderen KI-Anbietern im Jahr 2027 umsetzen. Laut der deutschen Fassung des Beitrags wird ein Opt-out über das neue Signal wie eine Sperre von Google-Extended behandelt, wenn Google-Extended nicht ausdrücklich angegeben ist. Bestehende anbieterspezifische Steuerungen funktionieren weiter.
Die IETF-Entwürfe. Die AIPREF-Arbeitsgruppe hat zwei Dokumente: ein Vokabular, mit dem sich Präferenzen zur KI-Nutzung ausdrücken lassen (Version 08 vom 13. September 2026, Ziel «Proposed Standard»), und eines dazu, wie solche Präferenzen per HTTP an Inhalte gehängt werden (Version 05 vom August 2026). Beide sind Internet-Drafts, kein RFC. Zusätzlich gibt es einen Einzelentwurf von Anthropic vom 30. Oktober 2026, der eine Schreibweise in robots.txt mit einem eigenen User-Agent-Eintrag als Beispiel zeigt. Welche Syntax Google unterstützen wird, steht in Googles Beitrag nicht.
Cloudflare und das Bezahlen. Pay per crawl, bei dem Website-Betreiber KI-Crawlern über den HTTP-Statuscode 402 einen Preis nennen, ist laut Cloudflare-Doku weiter eine geschlossene Beta. Am 30. September 2026 kam das Monetization Gateway dazu: Domain-Inhaber können damit Agenten für den Zugriff auf Website, APIs, MCP-Werkzeuge oder Datensätze bezahlen lassen, ebenfalls über HTTP 402. Es ist eine geschlossene Beta für berechtigte Verkäufer und Käufer in den USA, weitere Regionen sollen folgen. Am 15. Oktober 2026 berichtete Cloudflare zudem über einen Forschungspilot mit OpenAI seit Juli 2026, bei dem Netzwerksignale OpenAI helfen, neue Seiten zu finden. Ein solches Signal ist laut Cloudflare keine Erlaubnis zum Zugriff; diesen Satz kennen wir nur aus der Abruf-Zusammenfassung.
RSL. Das RSL Collective beschreibt Really Simple Licensing als offenen Standard, mit dem sich festlegen lässt, wie KI-Systeme und automatisierte Agenten auf Inhalte zugreifen, sie nutzen und lizenzieren dürfen. Die Spezifikation 1.0 ist laut der Seite fertiggestellt, ein Datum nennt sie nicht.
Gilt es in der Schweiz?
Das Signal in robots.txt kennt keine Länder, Google nennt keine Einschränkung. Die IETF-Entwürfe und RSL sind ebenfalls ohne Länderbezug. Beim Bezahlen sieht es anders aus: Das Monetization Gateway ist laut Cloudflare nur in den USA verfügbar, für Pay per crawl nennt Cloudflare keine Länder. Für Schweizer Websites ist ein Bezahlmodell deshalb nicht belegt.
Was heisst das für ein Schweizer KMU
Die wichtigste Unterscheidung zuerst. Es geht um drei getrennte Fragen, und jede hat ihren eigenen Schalter.
| Frage | Steuerung heute | Stand |
|---|---|---|
| Dürfen KI-Firmen mit meinen Inhalten trainieren? | Anbieterspezifisch, bei Google über Google-Extended | Gemeinsames Signal ab 2027 geplant |
| Erscheine ich in KI-Suchfunktionen von Google? | Schalter in der Search Console | Betrifft laut Google kein Training |
| Zahlen KI-Firmen für den Zugriff? | Cloudflare Pay per crawl, Monetization Gateway | Geschlossene Beta, Gateway nur USA |
Für ein KMU, das Kundschaft gewinnen will, ist die Antwort auf die zweite Frage fast immer: ja, erscheinen. Wer in ChatGPT, PerplexityPerplexity ist eine KI-Suchmaschine, die Fragen in natürlicher Sprache mit einer ausformulierten Antwort beantwortet und dazu nummerierte Quellenangaben mit…Mehr erfahren → oder den KI-Funktionen von Google genannt werden will, muss lesbar sein. Wie du misst, ob das klappt, zeigt der Beitrag Wie du misst, ob ChatGPT deine Marke zitiert. Die laufende Arbeit daran ist GEO.
Die erste Frage ist eine Abwägung. Wer Inhalte mit eigenem Wert hat, etwa Fachartikel, Studien oder Fotos, kann das Training ausschliessen wollen. Das geht heute pro Anbieter und künftig über das gemeinsame Signal. Nicht verwechseln: Das Trainings-Signal ist kein Schalter für die Google-Suche. GooglebotDer Googlebot ist der Webcrawler von Google: ein automatisches Programm, das Webseiten abruft, Links folgt und Inhalte für den Google-Index erfasst. Ein…Mehr erfahren → zu sperren, empfehlen wir nie; dann verschwindest du aus der Suche.
Ein konstruiertes Beispiel, kein Kundenfall: Die Muster AG, ein Treuhandbüro, veröffentlicht jeden Monat einen ausführlichen Fachartikel zu Steuerfragen. Sie will in ChatGPT und in den KI-Funktionen von Google als Quelle auftauchen, möchte aber nicht, dass ihre Texte ungefragt in Trainingsdaten landen. Nach dem heutigen Stand heisst das: Googlebot und die Suche bleiben offen, über den Search-Console-Schalter schliesst sie sich nicht aus den KI-Suchfunktionen aus, und das Training schliesst sie pro Anbieter aus, bei Google über Google-Extended. Ab 2027 prüft sie, ob das gemeinsame Signal diese Einträge vereinfacht. Ob ein Ausschluss vom Training die Nennung in KI-Antworten beeinflusst, ist nicht belegt; diese Abwägung trifft sie bewusst.
Die dritte Frage stellt sich für Schweizer KMU heute praktisch nicht. Die Bezahlmodelle sind Betas, eines davon nur in den USA.
- 01Entscheiden: Training erlauben oder nicht (pro Anbieter)
- 02Googlebot nie sperrenSuche bleibt sonst leer
- 03Search-Console-Schalter für KI-Suchfunktionen bewusst setzen
- 04robots.txt einmal jährlich prüfen, ab 2027 auf das gemeinsame Signal achten
- 05llms.txt als Wegweiser zu den wichtigsten Seiten pflegen
Wie llms.txtllms.txt ist eine standardisierte Textdatei im Wurzelverzeichnis einer Website, die KI-Systemen wie ChatGPT, Perplexity oder Claude die wichtigsten Inhalte…Mehr erfahren → und robots.txt zusammenspielen, beschreibt der Beitrag llms.txt, ai.txt und webmcp.json. Wer robots.txt und Server-Einstellungen nicht selbst pflegen will, kann das in der Website-Wartung abgeben. Und wer die Folgen für Rankings im Blick behalten will, findet das in der SEO-Betreuung. Was Browser-Agenten von einer Website brauchen, steht im Bericht KI-Browser und Browser-Agenten.
Was nicht belegt ist
- Dass OpenAI und Microsoft am selben Tag dieselbe Unterstützung angekündigt haben. Das berichtet nur die Fachpresse; OpenAI kennen wir dazu nur aus einem Feed-Eintrag.
- Welche Schreibweise Google in robots.txt unterstützen wird. Das Beispiel mit eigenem User-Agent stammt aus einem Einzelentwurf, nicht aus einem Standard.
- Ob Google «Anfang 2027» startet. Der Primärtext sagt nur «in 2027».
- Einnahmen oder Preise aus Pay per crawl.
- Eine angebliche Änderung der Standard-Einstellungen von Cloudflare für KI-Crawler im September 2026. Dafür fanden wir keine Primärquelle.
- Das Datum, an dem RSL 1.0 fertiggestellt wurde.
Quellen
- Beitrag vom 30.10.2026 zum gemeinsamen KI-Trainings-Signal in robots.txt
- draft-kelley-aipref-training-preference-signal
- draft-ietf-aipref-vocab-08: A Vocabulary For Expressing AI Usage Preferences
- AIPREF: Dokumente der Arbeitsgruppe
- What is Pay per crawl
- AI Crawl Control Changelog
- Beitrag vom 30.09.2026 zum Monetization Gateway (Beta)
- Beitrag vom 15.10.2026 zum Forschungspilot mit OpenAI
- Really Simple Licensing (RSL)
- Hilfeartikel zum Ausschluss aus KI-Suchfunktionen
Häufige Fragen
Soll ich KI-Crawler auf meiner Website sperren?+
Für die meisten KMU-Websites, die gefunden werden wollen, eher nicht. Wer KI-Crawler sperrt, kann auch Sichtbarkeit in KI-Antworten verlieren. Wichtig ist die Unterscheidung: Training, Erscheinen in KI-Suchfunktionen und Bezahlung sind drei verschiedene Fragen mit verschiedenen Schaltern. Googlebot selbst zu sperren, empfehlen wir nie.
Was hat Google am 30. Oktober 2026 angekündigt?+
Google will ein gemeinsames, anbieterübergreifendes Signal in robots.txt unterstützen, mit dem Website-Betreiber ihre Präferenz zum KI-Training angeben. Es beruht auf der Arbeit der IETF-Arbeitsgruppe AIPREF. Die Unterstützung ist laut Google zusammen mit anderen KI-Anbietern für 2027 geplant. Bestehende Steuerungen wie Google-Extended funktionieren weiter.
Kann ich KI-Firmen in der Schweiz für das Crawlen bezahlen lassen?+
Dafür gibt es keinen Beleg. Cloudflare Pay per crawl ist eine geschlossene Beta ohne Länderangabe, das Monetization Gateway ist laut Cloudflare nur für berechtigte Verkäufer und Käufer in den USA verfügbar.
Betrifft der Search-Console-Schalter für KI-Suchfunktionen auch das Training?+
Nein. Laut Search-Console-Hilfe betrifft der Schalter zum Ausschluss aus KI-Suchfunktionen das KI-Training nicht.
Über den Autor
Daniel MüllerSenior Developer & SEO-Stratege
Daniel Müller ist Senior Developer und SEO-Stratege bei DLM Digital in Zürich. Mit über 10 Jahren Erfahrung in Webentwicklung, SEO, GEO/AEO und KI-Integration begleitet er Schweizer KMU bei der digitalen Transformation. Im DLM Magazin schreibt er über KI, Vibe Coding und moderne Suchmaschinen-Sichtbarkeit.
