Kontakt
Was interessiert Sie?
Logfile-Analyse.
Bei der Logfile-Analyse werden die Zugriffsprotokolle des Webservers ausgewertet, um zu sehen, welche Seiten Suchmaschinen- und KI-Crawler tatsächlich besuchen, wie oft und mit welchem Ergebnis. Sie zeigt das reale Crawling-Verhalten, nicht nur eine Simulation.
Logfile-Analyse — ausführlich erklärt
Jeder Webserver protokolliert Zugriffe: Zeitpunkt, aufgerufene Adresse, Statuscode, User-Agent und IP-Adresse. In diesen Logfiles steht, was SEO-Tools nur schätzen können: wann der Googlebot welche Seite abgerufen hat, ob er dabei Fehler bekam und welche Seiten er seit Wochen nicht mehr besucht hat. Seit KI-Crawler unterwegs sind, zeigen die Logs auch, ob und wie oft GPTBot, OAI-SearchBot, ClaudeBot oder PerplexityBot eine Website lesen.
Die Logfile-Analyse beantwortet Fragen, die die Search Console nur teilweise abdeckt: Verbringt der Crawler seine Zeit mit wichtigen Seiten oder mit Parameter-Varianten? Werden neue Seiten zeitnah besucht? Gibt es Bereiche, die gar nicht gecrawlt werden? Antwortet der Server Bots langsamer als Menschen? Gerade für grosse Shops und Portale mit begrenztem Crawl-Budget ist das die verlässlichste Datenquelle.
Ein Beispiel: Ein Online-Shop mit 8'000 Produkten wundert sich, dass neue Artikel erst nach Wochen in Google erscheinen. Die Logfile-Analyse zeigt, dass ein Grossteil der Googlebot-Zugriffe auf Filterkombinationen mit dynamischen URLs entfällt. Nachdem diese per Canonical und robots.txt eingedämmt sind, verlagert sich das Crawling auf Produkt- und Kategorieseiten.
Wann sich eine Logfile-Analyse lohnt
Für eine Website mit zwanzig Seiten ist eine Logfile-Analyse meist unnötig; die Search Console genügt. Sinnvoll wird sie bei grossen Websites, bei Indexierungsproblemen ohne offensichtliche Ursache, nach Relaunches mit vielen Weiterleitungen und wenn man wissen will, welche KI-Crawler die Website tatsächlich besuchen.
Voraussetzung ist der Zugang zu den Rohdaten. Bei manchen Hosting-Angeboten und Baukastensystemen sind die Logs nicht oder nur gekürzt verfügbar. Logfiles enthalten IP-Adressen und sind deshalb datenschutzrechtlich sorgfältig zu behandeln; für die SEO-Auswertung genügen gefilterte Bot-Zugriffe.
Logfiles und KI-Sichtbarkeit
Für die Arbeit an der Sichtbarkeit in KI-Antworten sind Logfiles derzeit eine der wenigen harten Datenquellen. Sie zeigen, ob ein Such-Crawler eines KI-Anbieters eine Seite überhaupt kennt und wie oft Abruf-Agenten wie ChatGPT-User Seiten im Auftrag von Nutzern holen. Die Zusammenhänge erklärt der Beitrag KI-Crawler.
Auf unserer eigenen Website erfassen wir Bot-Zugriffe getrennt von menschlichen Besuchen, ohne Cookies. Bei Kundenwebsites prüfen wir im Website-Audit Erreichbarkeit, Statuscodes und robots.txt; in der GEO-Betreuung gehört die Prüfung der robots.txt-Freigaben für KI-Crawler dazu. Eine vollständige Logfile-Auswertung ist in beiden nicht enthalten und setzt Zugang zu den Rohdaten voraus.
Weiterführende Seite
Website-AuditHäufige Fragen zu Logfile-Analyse
Die Auswertung der Server-Zugriffsprotokolle, um zu sehen, welche Seiten Suchmaschinen- und KI-Crawler tatsächlich abrufen, wie oft, mit welchem Statuscode und wie schnell der Server antwortet. Sie zeigt das reale Crawling, nicht eine Simulation.
Spezialisierte Werkzeuge wie der Screaming Frog Log File Analyser, Funktionen in Enterprise-SEO-Plattformen oder eigene Auswertungen mit Tabellenkalkulation und Skripten. Für kleinere Websites genügt oft schon ein Filter auf die User-Agents der wichtigsten Bots.
Ja, sofern die Logs vollständig vorliegen. Zugriffe von OpenAI erscheinen mit User-Agents wie GPTBot, OAI-SearchBot oder ChatGPT-User. Ob eine Seite dann in einer Antwort zitiert wird, zeigen die Logs nicht, wohl aber, ob sie überhaupt gelesen wurde.
Weitere Begriffe mit „L“
LCP (Largest Contentful Paint)
LCP ist einer der drei Core Web Vitals und misst, wie lange es dauert, bis das grösste sichtbare Ele...
Local Pack
Der Local Pack (auch: Map Pack oder Google 3-Pack) ist der Block in der Google-Suche, der drei lokal...
Lighthouse Score
Der Lighthouse Score ist eine Bewertung von Google, die die Qualität einer Webseite in vier Kategori...
Bereit für Ihr Projekt?
Wenden Sie dieses Wissen auf Ihre Website an — DLM Digital hilft Ihnen dabei.
Logfile-Analyse in der Praxis
Wie der Begriff im Alltag von Schweizer KMU auftaucht — vertieft in Artikeln aus dem DLM Magazin.