AI Crawler Tracking: GPTBot & Co. im Serverlog erkennen

AI Crawler Tracking misst, welche KI-Bots wie GPTBot, ClaudeBot oder PerplexityBot Ihre Seiten abrufen. Weil diese Bots meist kein JavaScript ausführen, sehen Browser-Analytics sie nicht. Zuverlässig erfassen Sie sie im Serverlog, über ein CDN oder mit einem serverseitigen Hook, der den User-Agent prüft.

Warum Standard-Analytics blind bleibt

Skriptbasierte Analytics funktionieren, indem Ihr Browser ein kleines Programm ausführt und Besuche meldet. Crawler, die nur den HTML-Code herunterladen und gehen, lösen dieses Skript nie aus. Googlebot rendert Seiten und taucht daher eher auf, viele KI-Crawler tun das nicht.

Ein Anbieterbeispiel illustriert die Größenordnung: Laut einem Leitfaden von BusinessMCP zum serverseitigen Tracking protokollierte der JavaScript-Tracker auf der eigenen Website rund 140 Bot-Ereignisse, während Cloudflare im gleichen Zeitraum etwa 3.800 KI-Crawler-Anfragen zählte. Das ist eine Einzelmessung einer einzigen Website, aber sie zeigt das Prinzip: Ohne serverseitige Sicht unterschätzen Sie KI-Zugriffe deutlich.

Kernaussage: Was Ihr Analytics-Dashboard nicht zeigt, kann trotzdem passieren. Crawler-Zugriffe gehören in den Serverlog, nicht ins Browserskript.

Welche Crawler es gibt

Betreiber veröffentlichen eigene Dokumentationen, etwa OpenAI zu seinen Crawlern oder Perplexity zu seinen Bots. Grob lassen sich drei Gruppen unterscheiden:

Gruppe	Beispiele	Zweck
Trainings-Crawler	GPTBot, CCBot, Bytespider	Daten für Modelltraining
Suchindex-Crawler	OAI-SearchBot, PerplexityBot	Aufbau eines Suchindex für Antworten
Nutzerausgelöste Abrufe	ChatGPT-User	Abruf, wenn ein Nutzer im Chat eine Seite öffnen lässt

Die Zuordnung einzelner Bots ändert sich, prüfen Sie deshalb stets die Originaldokumentation. Wichtig für die Praxis: Die Gruppen haben unterschiedliche Folgen für Ihre Sichtbarkeit. Wer Trainings-Crawler blockt, kann weiterhin in Antworten mit Websuche erscheinen, wer Such-Crawler blockt, nicht unbedingt. Details dazu im Beitrag KI-Crawler und robots.txt.

Drei Wege zum Tracking

1. Serverlogs auswerten. Kostenlos, aber aufwendig. Sie filtern Zeilen nach bekannten User-Agents und zählen pro Seite und Woche.
2. CDN-Dashboard nutzen. Wenn Sie Cloudflare oder einen ähnlichen Dienst verwenden, sehen Sie Bot-Anfragen oft ohne Zusatzaufwand. Die Detailtiefe pro Seite variiert.
3. Serverseitigen Hook einbauen. Eine Middleware prüft jede Anfrage per einfachem User-Agent-Muster und meldet Bot-Treffer asynchron an einen Endpunkt. Die Gegenseite ordnet zu und speichert getrennt von Besuchern.

Der Leitfaden von BusinessMCP beschreibt die dritte Variante samt Beispielen für Next.js, Express und Cloudflare Workers. Die Bot-Treffer werden dabei getrennt gespeichert und fließen nicht in Besucher- und Sitzungszahlen ein. Im Produkt KI-Sichtbarkeit von BusinessMCP sind solche Crawler-Zähler laut Anbieter eine von mehreren Kennzahlen neben Zitationsrate und Share of Voice.

Grenzen der Methode

• User-Agents sind selbst deklariert. Wer will, kann sie fälschen. Betreiber veröffentlichen IP-Bereiche zur Verifikation, behandeln Sie die Daten bis dahin als Richtwerte.
• Abruf ist nicht Zitat. Ein häufig gecrawlter Inhalt wird nicht automatisch genannt. Die Brücke zwischen Zugriff und Zitat schlägt nur die Messung der Antworten, wie in KI-Sichtbarkeit messen beschrieben.
• Hook ersetzt kein Analytics. Für Sitzungen, Ziele und Attribution brauchen Sie weiter das normale Tracking.
• Datenschutz. Crawler-Daten sind meist keine personenbezogenen Daten. Sobald Sie Logs mit IP-Adressen speichern, gelten jedoch die üblichen Anforderungen der DSGVO an Speicherdauer und Zweckbindung.

Was Sie aus den Daten ablesen

Konkrete Fragen, die sich beantworten lassen:

• Werden unsere wichtigsten Seiten überhaupt abgerufen?
• Welche Bots kommen, welche fehlen? Fehlt ein Such-Crawler ganz, prüfen Sie Firewall und robots.txt.
• Steigen die Zugriffe nach einer Inhaltsänderung?
• Gibt es auffällige Spitzen, die auf aggressive Bots hindeuten?

Nutzen Sie dazu auch Prüfwerkzeuge. BusinessMCP bietet etwa einen kostenlosen Crawler-Check, mit dem Sie sehen, ob einzelne KI-Crawler Ihre Seite erreichen dürfen. Was der Check im Detail prüft, sollten Sie auf der Werkzeugseite nachlesen.

Messen, dann entscheiden

Blockieren ist eine eigene Entscheidung, die man nach der Messung trifft. Wer ohne Zahlen pauschal sperrt, kann sich aus Antworten ausschließen. Wer pauschal öffnet, liefert womöglich Inhalte für Zwecke, die er nicht will. Der Weg dazwischen ist Klasse für Klasse zu entscheiden. Maßnahmen, die auf der Crawler-Ebene ansetzen, sind Teil unserer Maßnahmenliste für ChatGPT-Sichtbarkeit.

Praxisbeispiel: eine Log-Auswertung in vier Schritten

Wer keinen Hook einbauen kann, kommt mit Serverlogs erstaunlich weit. Ein typisches Vorgehen für ein Marketingteam gemeinsam mit der IT sieht so aus:

1. Zeitraum festlegen. Ziehen Sie die Logs der letzten vier Wochen. Ein Tag reicht nicht, weil Crawler unregelmäßig kommen.
2. Nach User-Agent filtern. Suchen Sie nach den Bezeichnungen aus der Dokumentation der Betreiber, etwa GPTBot, OAI-SearchBot, ChatGPT-User, PerplexityBot oder ClaudeBot. Legen Sie die Liste als Datei an, damit Sie sie später erweitern können.
3. Pro Seite zählen. Gruppieren Sie Treffer nach Pfad und Woche. Interessant sind Ihre Leistungsseiten, Ratgeber und Preisseiten, weniger Bilder und Skripte.
4. Statuscodes prüfen. Viele 403- oder 429-Antworten deuten auf Bot-Schutz hin, der Crawler abweist. Das ist oft die eigentliche Ursache für fehlende Zitate.

Aus dieser kleinen Auswertung entsteht eine Tabelle, die Sie dem Entwicklungsteam geben können. Sie zeigt auf einen Blick, welche Bots Ihre wichtigsten Seiten regelmäßig erreichen und welche nicht.

Wie Sie Crawler-Daten mit der Antwortmessung verbinden

Crawler-Zugriffe sind ein Vorlaufindikator, Zitate sind das Ergebnis. Beides gehört nebeneinander gestellt. Steigen Abrufe einer Seite, ohne dass sich Zitate verändern, fehlt es vermutlich an zitierfähigen Passagen oder an Drittquellen. Bleiben Abrufe aus, wird die Seite auch nicht zitiert. Eine praktische Darstellung ist ein Wochenbericht mit drei Spalten: Abrufe durch Such-Crawler, Zitationsrate der zugehörigen Fragen und Veränderungen an der Seite. So sehen Sie, welche Änderung welche Wirkung hatte.

Eine Einordnung der Rolle von Crawlern im Gesamtprozess finden Sie im GEO-Leitfaden von BusinessMCP, der Crawler-Zugang als erste Stufe eines Trichters aus Abruf, Auswahl, Zitat und Besuch beschreibt. Diese Sichtweise hilft bei der Fehlersuche: Diagnostizieren Sie immer von der frühesten gestörten Stufe aus.

Checkliste für die IT

• Sind die Zugriffe der gewünschten Crawler im Log sichtbar und mit Statuscode 200 beantwortet?
• Gibt es Firewall-, WAF- oder CDN-Regeln, die unbekannte Bots pauschal abweisen?
• Ist die robots.txt erreichbar und syntaktisch korrekt?
• Liefert die Seite den Kerninhalt bereits im HTML, oder entsteht er erst durch JavaScript? Crawler, die keine Skripte ausführen, sehen sonst eine leere Seite.
• Werden Logs datenschutzkonform gespeichert und nach definierter Frist gelöscht?

Der vierte Punkt wird häufig übersehen. Eine moderne Webanwendung, die ihren Text erst im Browser zusammensetzt, ist für einfache Crawler praktisch leer. Das erklärt manchmal, warum eine inhaltlich starke Seite nie zitiert wird. Prüfen Sie dazu den Seitenquelltext im Browser und suchen Sie nach dem sichtbaren Text.