KI-Suchcrawler zugelassen
Gewicht 3ChatGPT-Suche (OAI-SearchBot, ChatGPT-User), Perplexity (PerplexityBot), Claude (Claude-SearchBot, Claude-User), Microsoft Copilot (Bingbot) und die KI-Übersichten von Google (Googlebot) holen ihre Quellen mit eigenen Crawlern. Sperrt die robots.txt einen davon, kann dieser Dienst Ihre Seite nicht als Quelle verlinken.
Bewertung: Wir lesen Ihre robots.txt nach den Regeln des Standards RFC 9309 und prüfen für jeden dieser Crawler, ob die Startseite gesperrt ist. In Ordnung: keiner gesperrt. Problem: mindestens einer gesperrt. Sperren durch eine Firewall (z. B. Cloudflare-Bot-Schutz) sieht dieser Check nicht.
Indexierung & Textausschnitte erlaubt
Gewicht 3Mit «noindex» verschwindet die Seite aus dem Index, aus dem auch KI-Suchen schöpfen. «nosnippet» oder «max-snippet:0» verbieten Google ausdrücklich, Text Ihrer Seite in Suchergebnissen und KI-Übersichten zu zeigen.
Bewertung: Wir lesen das Meta-Tag «robots» bzw. «googlebot» und den HTTP-Header «X-Robots-Tag» der Startseite. Problem: noindex, nosnippet oder max-snippet:0 gesetzt. Sonst in Ordnung.
Inhalt ohne JavaScript lesbar
Gewicht 2Viele KI-Crawler laden nur das HTML und führen kein JavaScript aus. Baut sich der Text erst im Browser auf, sehen sie eine fast leere Seite.
Bewertung: Wir zählen die Wörter im ausgelieferten HTML (ohne Skripte, Styles, SVG). In Ordnung: ab 250 Wörtern. Verbesserungsfähig: 80 bis 249. Problem: unter 80.
Sitemap mit Änderungsdatum
Gewicht 1Eine XML-Sitemap zeigt Suchmaschinen alle wichtigen Seiten. Das Feld «lastmod» sagt, wann sich eine Seite geändert hat — Microsoft Bing, dessen Index Copilot nutzt, empfiehlt es ausdrücklich, damit neue Inhalte schneller erfasst werden.
Bewertung: Wir suchen die Sitemap über den Eintrag in der robots.txt, sonst unter /sitemap.xml und /sitemap_index.xml. In Ordnung: Sitemap mit «lastmod». Verbesserungsfähig: Sitemap ohne «lastmod». Problem: keine Sitemap gefunden.
llms.txt
Gewicht 1Die llms.txt ist ein vorgeschlagener Standard: eine kurze Markdown-Datei im Hauptverzeichnis, die Sprachmodellen sagt, wer Sie sind und welche Seiten wichtig sind. Ehrlich gesagt: Keiner der grossen Anbieter hat bestätigt, dass er sie für Antworten auswertet. Der Aufwand ist aber klein, deshalb zählt der Punkt nur einfach.
Bewertung: Wir rufen /llms.txt ab. In Ordnung: Textdatei mit Titelzeile («# Name») und mindestens einem Link, wie im Vorschlag beschrieben. Verbesserungsfähig: Datei fehlt oder entspricht nicht dem Format.
KI-Trainingscrawler (nur Info)
InfoGPTBot, ClaudeBot, Google-Extended, Applebot-Extended, CCBot und Meta-ExternalAgent sammeln Texte für das Training von Sprachmodellen. Sie zu sperren ist eine legitime Entscheidung und verhindert nicht, dass die KI-Suchen Sie verlinken. Gesperrt kennt das Modell Ihre Firma aber eher nur aus fremden Quellen.
Bewertung: Reine Information, fliesst nicht in die Punktzahl ein. Wir zeigen, welche Trainingscrawler Ihre robots.txt sperrt.