Kontakt
Was interessiert Sie?
KI-Crawler.
KI-Crawler sind Bots von KI-Anbietern, die Websites abrufen, um Sprachmodelle zu trainieren oder um Inhalte für Antworten in Echtzeit zu holen. Beispiele sind GPTBot, OAI-SearchBot und ChatGPT-User von OpenAI, PerplexityBot und ClaudeBot. Website-Betreiber steuern über die robots.txt, welche dieser Crawler Zugriff erhalten.
KI-Crawler — ausführlich erklärt
Mit dem Aufkommen von KI-Assistenten ist eine neue Gruppe von Crawlern entstanden. Sie lassen sich grob in drei Arten einteilen. Trainings-Crawler wie GPTBot (OpenAI) oder ClaudeBot (Anthropic) sammeln Inhalte, mit denen künftige Sprachmodelle trainiert werden. Such-Crawler wie OAI-SearchBot (OpenAI) oder PerplexityBot bauen einen Index auf, aus dem die KI-Suche Quellen für Antworten auswählt. Nutzer-Abrufe wie ChatGPT-User, Claude-User oder Perplexity-User holen eine Seite ab, wenn eine Person im Gespräch konkret danach fragt oder einen Link teilt.
Die Unterscheidung ist wichtig, weil die Folgen einer Sperre verschieden sind. Wer GPTBot sperrt, verhindert, dass Inhalte in künftige Trainingsdaten von OpenAI einfliessen, bleibt aber über OAI-SearchBot in der ChatGPT-Suche auffindbar. Wer OAI-SearchBot sperrt, erscheint dort nicht als Quelle. Google nutzt für KI-Funktionen keinen separaten Crawler, sondern ein eigenes Kennzeichen in der robots.txt: Google-Extended steuert, ob Inhalte für das Training und die Verankerung von Gemini-Modellen verwendet werden dürfen; AI Overviews in der Google-Suche hängen dagegen an der normalen Indexierung durch den Googlebot.
Technisch haben viele KI-Crawler eine wichtige Einschränkung: Sie führen kein oder kaum JavaScript aus. Inhalte, die eine Website erst im Browser per JavaScript aufbaut, bleiben für sie unsichtbar. Websites, die ihre Inhalte serverseitig ausliefern (Server-Side Rendering) oder statisch erzeugen, sind hier klar im Vorteil. Ergänzend können Dateien wie llms.txt einen kompakten Überblick über die wichtigsten Inhalte bieten.
Ob man KI-Crawler zulässt, ist eine geschäftliche Entscheidung. Medienhäuser sperren Trainings-Crawler oft, um ihre Inhalte zu schützen. Für die meisten KMU überwiegt der Nutzen, in KI-Antworten genannt zu werden; sie lassen zumindest die Such- und Nutzer-Crawler zu. Wichtig ist, dass die Entscheidung bewusst fällt und nicht durch eine pauschale Sperrregel eines Hosting-Anbieters oder einer Firewall zufällig getroffen wird.
KI-Crawler in der robots.txt steuern
Jeder Crawler meldet sich mit einem eigenen User-Agent und lässt sich in der robots.txt einzeln ansprechen, etwa mit «User-agent: GPTBot» und darunter «Allow: /» oder «Disallow: /». Für Google-Extended gilt dieselbe Schreibweise, obwohl es sich um ein Kennzeichen und nicht um einen eigenen Bot handelt. Die robots.txt ist eine Bitte, keine technische Sperre; seriöse Anbieter halten sich nach eigenen Angaben daran.
Zusätzlich lohnt ein Blick auf Firewall- und CDN-Einstellungen. Manche Dienste blockieren KI-Bots standardmässig oder zeigen ihnen eine Prüfseite. Dann nützt eine freundliche robots.txt nichts. Ob die Bots tatsächlich durchkommen, zeigen die Server-Logs.
Beispiel: Eine Firewall blockiert ChatGPT
Ein Architekturbüro wundert sich, dass ChatGPT bei Fragen nach seinem Büro nur veraltete Angaben aus Verzeichnissen nennt. Die Prüfung zeigt: Die robots.txt erlaubt alle Bots, aber der Schutzdienst des Hosters beantwortet Anfragen von OAI-SearchBot und ChatGPT-User mit einer Prüfseite. Die KI-Systeme sehen die Website also nie.
Nach der Anpassung der Firewall-Regeln sind die Seiten erreichbar. Ob die eigene Website für KI-Crawler lesbar ist, prüft unser kostenloser KI-Sichtbarkeits-Check; die laufende Beobachtung, ob ein Unternehmen in KI-Antworten genannt wird, ist Teil der GEO-Betreuung ab CHF 300 pro Monat.
Weiterführende Seite
robots.txtHäufige Fragen zu KI-Crawler
Das ist eine geschäftliche Entscheidung. GPTBot sammelt Trainingsdaten; eine Sperre verhindert die Nutzung Ihrer Inhalte für künftige Modelle, beeinflusst aber nicht direkt, ob Sie in der ChatGPT-Suche erscheinen. Dafür ist OAI-SearchBot zuständig. Die meisten KMU lassen beide zu, um in KI-Antworten präsent zu sein.
Ein Kennzeichen für die robots.txt, mit dem Website-Betreiber steuern, ob Google Inhalte für das Training und die Verankerung von Gemini-Modellen nutzen darf. Es ist kein eigener Crawler. Die Darstellung in AI Overviews der Google-Suche hängt an der normalen Indexierung.
Viele nicht oder nur eingeschränkt. Inhalte, die erst im Browser per JavaScript entstehen, sehen sie oft nicht. Websites mit serverseitig ausgeliefertem HTML sind für KI-Crawler deutlich besser lesbar.
Weitere Begriffe mit „K“
Keyword
Ein Keyword (Suchbegriff) ist das Wort oder die Phrase, die ein Nutzer in eine Suchmaschine eingibt....
KPI (Key Performance Indicator)
KPIs sind messbare Kennzahlen, die den Erfolg einer Massnahme oder Strategie quantifizieren. Im digi...
Knowledge Graph
Der Knowledge Graph ist Googles Wissensdatenbank, die reale Entitäten — Personen, Unternehmen, Orte,...
Bereit für Ihr Projekt?
Wenden Sie dieses Wissen auf Ihre Website an — DLM Digital hilft Ihnen dabei.
KI-Crawler in der Praxis
Wie der Begriff im Alltag von Schweizer KMU auftaucht — vertieft in Artikeln aus dem DLM Magazin.