Originaldaten
Wie oft crawlen KI-Bots Ihre Website? Unsere Zahlen, Bot für Bot
90 Tage lang haben wir gemessen, wie oft jeder KI-Bot tatsächlich zurückkommt, um eine Seite erneut zu lesen — über 17.850 Seite-Bot-Paare, mit gegen veröffentlichte IP-Bereiche verifizierter Bot-Identität. Perplexity kommt alle 5,5 Tage wieder. ChatGPT alle 14. Claude alle 23,5. Hier sind die Zahlen, die Methode — und was sie für jede Ihrer Seiten bedeuten, die sich ändert.
Ändern Sie heute einen Preis. Wie lange lebt der alte Preis in den Antworten der KIs weiter?
Niemand kann diese Frage exakt beantworten — das Gedächtnis eines Assistenten ist von außen nicht beobachtbar. Aber die Hälfte der Frage lässt sich sehr gut messen: wie oft jeder KI-Bot tatsächlich zurückkommt, um Ihre Seiten erneut zu lesen. Zwischen zwei Besuchen kann ein Bot, was auch immer passiert, nichts Neues über eine Seite lernen. Dieser Recrawl-Zyklus ist damit eine physikalische Untergrenze: Ihre Änderung kann sich nicht schneller verbreiten als er.
Wir haben diesen Zyklus 90 Tage lang gemessen. So sieht er aus.
Die Methode, vor den Zahlen
Snorklee misst den Traffic serverseitig, einschließlich der Bot-Besuche. Jeder Bot-Hit wird gegen die von den Betreibern veröffentlichten IP-Bereiche geprüft: ein falscher GPTBot fliegt raus. Auf dieser Basis:
- Fenster: 90 Tage, Stichtag 6. August 2026.
- Material: 17.850 Seite-Bot-Paare, an mindestens 3 verschiedenen Tagen erneut gelesen, von den Websites, die wir produktiv messen. Das sind echte Beobachtungsdaten — kein für das gesamte Web repräsentatives Panel.
- Berechnung: pro Paar Zyklus = (letzter Besuch − erster) ÷ (Anzahl der Besuchstage − 1); dann der Median pro Bot.
- Ausgeschlossen: gefälschte Bots sowie Familien mit weniger als 100 Paaren (DuckDuckGo AI, CommonCrawl) — zu wenig für einen ehrlichen Median.
- Eingestandene Grenze: ein Crawl ist kein Index-Update und kein Update des Modellgedächtnisses. Wir messen das erneute Lesen, nicht das, was der Assistent ausliefert. Aber ohne erneutes Lesen ist kein Update möglich: diese Zyklen sind Untergrenzen.
Die Zahlen: von 5,5 Tagen bis über drei Wochen
Medianer Recrawl-Zyklus derselben Seite, pro Bot (90 Tage)
| Bot | Beobachtete Paare | Medianer Zyklus | Konkret |
|---|---|---|---|
| Perplexity | 464 | 5,5 T | Ihre Änderung kann binnen einer Woche erneut gelesen werden |
| Huawei AI | 3.230 | 6,5 T | Wöchentliches erneutes Lesen |
| ByteDance AI | 2.447 | 8 T | Wöchentliches erneutes Lesen |
| Meta AI | 647 | 11 T | Ein bis zwei Besuche pro zwei Wochen |
| ChatGPT | 8.231 | 14 T | Zwei Wochen zwischen zwei Hintergrund-Lesungen |
| Amazon AI | 2.661 | 18 T | Fast drei Wochen |
| Claude | 158 | 23,5 T | Über drei Wochen: der langsamste gemessene Bot |
Drei Dinge haben uns an diesen Zahlen überrascht.
Perplexity ist am frischesten. Das passt zur Positionierung als Antwortmaschine: ein Index, der aktuell sein will, muss oft erneut lesen. Wenn sich Ihr Inhalt viel bewegt, ist Perplexity vermutlich der Ort, an dem die ausgelieferte Version der Realität am nächsten kommt.
Die Crawler, über die niemand spricht, gehören zu den fleißigsten. PetalBot (Huawei) und Bytespider (ByteDance) lesen schneller erneut als ChatGPT — in unseren Daten stellen sie zusammen fast ein Drittel aller beobachteten Paare. Die öffentliche Debatte über KI-Crawler dreht sich fast nur um OpenAI und Anthropic; der tatsächliche Traffic erzählt eine andere Geschichte.
Claude ist der langsamste, mit Abstand. Über drei Wochen zwischen zwei Hintergrund-Lesungen derselben Seite. Veraltete Informationen leben bei Anthropic also länger als anderswo — mit einer Live-Lese-Nuance, zu der wir gleich kommen.
Die zwei Geschwindigkeiten von ChatGPT
Der 14-Tage-Median verbirgt eine zweistufige Realität, die auf unseren eigenen Seiten sehr gut sichtbar ist.
Unsere Preisseite — die Art von Seite, deren Inhalt finanziell zählt — wurde von ChatGPT 41-mal in 90 Tagen erneut gelesen, also etwa alle 2 bis 3 Tage. Gleichzeitig bleibt der Median seines Hintergrund-Crawls über alle Seiten bei 14 Tagen. Mit anderen Worten: KI-Crawler führen eine Liste heißer Seiten, die sehr oft erneut gelesen werden, während der Rest der Website im langsamen Rhythmus lebt.
Dazu kommt ein dritter Mechanismus: ChatGPT-User, das Live-Lesen. Wenn ein Nutzer eine Frage stellt, die Ihre Seite betrifft, kann der Assistent sie im selben Moment erneut lesen — und alle obigen Zyklen kurzschließen. Dieses Lesen auf Abruf betrifft aber nur die Seiten, die der Assistent abrufen will: für alles andere gilt der Hintergrund-Zyklus.
Die praktische Konsequenz ist wichtig: die eigentliche Frage lautet nicht „wie schnell crawlen KIs das Web“, sondern „stehen meine kritischen Seiten auf der heißen Liste“. Diese Antwort ist messbar, Seite für Seite — nicht im Durchschnitt.
Was das ändert, wenn Ihre Seiten sich bewegen
Ist Ihre Website eine stabile Visitenkarte, sind diese Zyklen eine Randnotiz. Tragen Ihre Seiten Informationen, die verfallen — Preise, Verfügbarkeit, Aktionen, Versionen, Abo-Stufen — werden sie zu einer Terminplanungs-Vorgabe:
- Eine 5-Tage-Aktion kann zwischen zwei Lesungen fallen. Bei ChatGPT (14 T), Amazon (18 T) und Claude (23,5 T) beginnt und endet eine kurze Kampagne sehr wahrscheinlich, ohne dass ein Hintergrund-Crawl sie sieht. Für die Hälfte der Bots in unserer Tabelle hat Ihre Aktion schlicht nie existiert.
- Eine Preisänderung lebt ein bis drei Wochen doppelt. Der alte Preis bleibt die zuletzt gelesene Version einiger Bots bis zu ihrem nächsten Besuch. Zitiert ein Assistent jemandem, der Angebote vergleicht, einen veralteten Preis, erfahren Sie es nie — der Verkauf geht spurlos verloren.
- Verderbliche Informationen müssen beim ersten Durchgang lesbar sein. Preis und Verfügbarkeit im HTML und im
schema.org/Offer-Markup, nicht nur in JavaScript, das Crawler nicht ausführen. Ein Bot, der alle 14 Tage wiederkommt und den Preis nicht lesen kann, zieht für weitere 14 Tage mit leeren Händen ab. - Blockieren Sie nicht die Bots, die Ihnen Traffic schicken. Der Reflex „alle KI-Bots blockieren“ kappt genau die Lesungen, die Ihre Informationen frisch halten — und den Assistenten-Traffic gleich mit. Wenn Sie eine feinere Politik wollen, trennen Sie Training von Suche: wie, haben wir in „KI-Crawler: blockieren oder zulassen?“ beschrieben.
- Planen Sie nach dem beobachteten Zyklus Ihrer Seiten, nicht nach einem Web-Durchschnitt. Unsere Mediane sind Anhaltspunkte, nicht Ihre Realität: Ihre Startseite lebt nicht im Rhythmus Ihrer tiefen Seiten. Die einzige Zahl, die für eine Entscheidung zählt, ist die auf Ihren Seiten gemessene.
Messen Sie es auf Ihrer eigenen Website
Alles in diesem Artikel stammt aus dem Tab KI-Verkehr von Snorklee: welche Bots welche Seiten wann lesen (Identität gegen IP-Bereiche verifiziert, Hochstapler markiert), welche Ihrer Seiten gelesen, aber nie von einem Menschen besucht werden, und was Ihre robots.txt tatsächlich erlaubt. Die Messung ist passiv und serverseitig, ohne Cookie und ohne Banner — Ihre Besucher sehen nichts, die Bots auch nicht.
Sehen Sie Ihre eigenen Zyklen: 14 Tage kostenlos testen, ohne Kreditkarte — der erste Bot-Besuch erscheint in der Regel noch am selben Tag.
Wie oft crawlt ChatGPT eine Website?
In unseren Daten (90 Tage, IP-verifizierte Identität) liest der Hintergrund-Crawl eine Seite im Median alle 14 Tage erneut. Als wichtig eingestufte Seiten werden aber deutlich öfter gelesen — unsere Preisseite alle 2 bis 3 Tage — und ChatGPT-User kann eine Seite live lesen, sobald ein Nutzer eine Frage stellt. Die Frequenz hängt von der Seite ab, nicht nur von der Website.
Bedeutet ein Crawl, dass die KI aktuell ist?
Nein. Ein Crawl ist ein Lesen, keine Garantie für ein Update des Index oder des Modellgedächtnisses. Die Umkehrung gilt allerdings: ohne erneutes Lesen ist kein Update möglich. Der Crawl-Zyklus ist eine Untergrenze — Ihre Änderung kann sich nicht schneller verbreiten.
Sollte man diese Bots blockieren, um sich zu schützen?
Wer alle KI-Bots blockiert, kappt auch jene, die Antwortmaschinen speisen und Besucher schicken. Die nützliche Unterscheidung ist der Zweck: Training zu blockieren ist eine vertretbare Wahl; Suche und Assistenten zu blockieren heißt, aus den Ergebnissen von morgen auszusteigen. Eine robots.txt kann das eine ohne das andere.