TL;DR: Cloudflare will ab dem 15. September 2026 bei neuen Domains Such-Crawler standardmäßig zulassen, Training und Agentennutzung auf werbefinanzierten Seiten jedoch blockieren – eine nützliche Trennung, die Betreiber trotzdem bewusst prüfen und an ihr Geschäftsmodell anpassen müssen.
Webseitenbetreiber mussten KI-Crawler lange in eine grobe Kategorie einordnen: erlauben oder blockieren. Cloudflare will diese Entscheidung feiner machen. Der Anbieter unterscheidet automatisierte Zugriffe künftig nach ihrem Zweck – Search, Agent und Training – und führt am 15. September 2026 neue Standardwerte ein.
Die Idee trifft einen realen Zielkonflikt. Inhalte sollen in Suchsystemen auffindbar bleiben und idealerweise Besucher zurückbringen. Gleichzeitig möchten viele Publisher nicht, dass dieselben Seiten ohne separate Vereinbarung zum Trainieren eines Modells oder für automatisierte Aufgaben verwendet werden. Cloudflare übersetzt diesen Unterschied in technische Regeln am Netzwerkrand.
Drei Zwecke statt eines Bot-Schalters
In der Cloudflare-Dokumentation steht Search für Crawler, die Inhalte sammeln oder indexieren, um später Fragen zu beantworten. Agent bezeichnet Zugriffe, die in Echtzeit im Auftrag eines Nutzers handeln, etwa ein Chat-Fetch-Bot oder ein Browser-Agent. Training umfasst Crawler, die Inhalte zum Trainieren oder Feinabstimmen eines Modells abrufen. Ein Bot kann mehreren Verhaltenskategorien gleichzeitig zugeordnet sein.
Diese Trennung ist mehr als neue Terminologie. Sie ermöglicht eine Inhaltsstrategie, bei der Auffindbarkeit nicht automatisch als Zustimmung zu jeder weiteren maschinellen Nutzung gilt. Ein Fachartikel kann für eine Suchantwort indexiert werden und einen Link zurückliefern, ohne dass der Betreiber denselben Abruf für Modelltraining freigeben möchte. Ebenso kann ein Shop Suchmaschinen willkommen heißen, aber automatisierte Kauf- oder Browseraktionen zunächst begrenzen.
Technisch bleibt die Klassifikation allerdings eine Anbieterentscheidung. Cloudflare ordnet bekannte Bots anhand verifizierter Identitäten, Erkennungssignale und dokumentierter Zwecke ein. Im Free-Tarif basiert AI Crawl Control laut Produktdokumentation bei bekannten KI-Crawlern auf deren User-Agent; umfassendere Erkennung über Bot-Management-Signale erfordert einen höheren Tarif. Betreiber sollten die Kategorien deshalb als hilfreiche Policy-Ebene verstehen, nicht als unfehlbare Aussage über jede automatisierte Anfrage.
Was sich am 15. September ändert
Laut Cloudflares Ankündigung erhalten neue Domains, die ab dem 15. September 2026 zu Cloudflare kommen, veränderte Standards: Search bleibt erlaubt; Training und Agent werden auf Seiten mit Werbung standardmäßig blockiert. Die Werbung dient Cloudflare dabei als Signal, dass ein Geschäftsmodell auf menschlichen Seitenaufrufen und damit auf Aufmerksamkeit beruht.
Für bestehende Kunden ist der genaue Status wichtig. Cloudflare kündigt an, dass kostenlose Konten, die ihre bisherigen Einstellungen nicht verändert haben, auf die neuen Optionen überführt werden. Wer bereits bewusst Regeln gesetzt hat, sollte nicht einfach von identischem Verhalten ausgehen, sondern die angezeigte Policy kontrollieren. Alle Kunden können die Standards vor dem Stichtag anpassen.
Besonders folgenreich ist die Behandlung von Mehrzweck-Crawlern. Wenn ein Crawler Search und Training nicht sauber trennt, gilt die strengste passende Regel. Ein Bot kann dann trotz Suchfunktion blockiert werden, sobald Training gesperrt ist. Cloudflare nennt in diesem Zusammenhang unter anderem Googlebot, Applebot und Bingbot. Genau hier kann eine gut gemeinte Schutzregel unbeabsichtigt Reichweite kosten.
Getrennte Bots machen klare Regeln möglich
Einige Anbieter haben ihre Zugriffe bereits funktional getrennt. Cloudflares Bot-Referenz führt bei OpenAI beispielsweise OAI-SearchBot als AI Search, GPTBot als AI Crawler und ChatGPT-User als AI Assistant. Für einen Betreiber entsteht dadurch eine verständliche Policy: Suche zulassen, potenzielles Training begrenzen und agentische Abrufe je nach Anwendung gesondert bewerten.
OpenAI dokumentiert denselben Unterschied aus Sicht von Publishern. Die Publisher-FAQ empfiehlt, OAI-SearchBot für Auffindbarkeit und Zitate nicht zu blockieren. Wer Seiten von einer möglichen Trainingsnutzung ausschließen möchte, soll GPTBot per robots.txt sperren. Referral-Links aus der ChatGPT-Suche enthalten nach OpenAI-Angaben einen UTM-Parameter und lassen sich damit in der Webanalyse beobachten.
Bei Google ist die Trennung anders umgesetzt. Google-Extended ist kein eigener HTTP-Crawler, sondern ein Steuer-Token in robots.txt. Es soll die Nutzung gecrawlter Inhalte für künftige Gemini-Modelle und bestimmte Grounding-Funktionen regeln, ohne die Aufnahme in Google Search oder das Ranking zu beeinflussen. Der Abruf kann weiterhin mit bestehenden Google-User-Agents erfolgen. Eine rein am sichtbaren User-Agent orientierte Netzwerkregel kann diesen Unterschied daher nicht immer abbilden.
Cloudflare ersetzt keine Inhaltsstrategie
Die neuen Schalter beantworten nicht, welche Nutzung für eine Organisation wirtschaftlich sinnvoll ist. Ein Publisher mit Anzeigen möchte wahrscheinlich echte Besuche priorisieren. Ein Softwareanbieter kann dagegen davon profitieren, wenn ein Assistent die Dokumentation in einer Nutzersitzung abruft und korrekt auf das Produkt verweist. Eine Forschungseinrichtung oder ein Open-Content-Projekt kann Training ausdrücklich begrüßen. Die richtige Regel hängt von Lizenz, Geschäftsmodell, Zielgruppe und Messbarkeit ab.
Auch „Search“ ist kein garantierter Wertstrom. Ein System kann Inhalte indexieren und Antworten direkt ausspielen, ohne viele Klicks zurückzusenden. Cloudflare stellt Enterprise-Kunden mit Attribution Business Insights Kennzahlen zum Verhältnis von Crawl-Aktivität und Referral-Traffic bereit. Für kleinere Seiten bleiben Serverlogs, Webanalyse und Suchkonsolen entscheidend. Erst die Kombination zeigt, welcher Crawler tatsächlich Sichtbarkeit, qualifizierte Besuche oder Supportentlastung bringt.
Damit gewinnt neben klassischer SEO die Optimierung für Antwortsysteme an Bedeutung. Häufig wird sie AEO, Answer Engine Optimization, genannt. Ihr sinnvoller Kern ist nicht, Inhalte für Modelle zu verkünsteln. Maschinenlesbare Struktur, eindeutige Autorenschaft, nachvollziehbare Quellen, stabile URLs und präzise Antworten helfen Menschen, Suchmaschinen und KI-Systemen zugleich. Ob ein Crawler zugreifen darf, bleibt davon eine separate Governance-Entscheidung.
Robots.txt ist Signal, Edge-Regel ist Kontrolle
Seit den frühen Tagen des Webs teilt robots.txt kooperativen Crawlern mit, welche Bereiche sie abrufen sollen. Die Datei ist eine Konvention, keine Zugriffssperre: Ein nicht kooperativer Bot kann sie ignorieren. Eine Edge-Regel bei Cloudflare kann erkannte Requests tatsächlich abweisen. Trotzdem bleibt robots.txt relevant, weil Anbieter dort feiner differenzierte Produktsignale wie Google-Extended auswerten und weil die Datei die beabsichtigte Nutzung öffentlich dokumentiert.
Beide Ebenen sollten zusammenpassen. Wer einen Bot in robots.txt erlaubt, ihn aber am CDN blockiert, erzeugt schwer erklärbare Fehler. Wer nur robots.txt pflegt, hat gegen absichtlich falsch deklarierte Scraper keine technische Barriere. Und wer Googlebot pauschal sperrt, verhindert zwar Crawling, kann aber die gewünschte Suchsichtbarkeit beschädigen. Google weist zudem darauf hin, dass eine per robots.txt gesperrte URL unter Umständen weiterhin ohne Seiteninhalt in Suchergebnissen auftauchen kann.
Die Grenzen der neuen Regeln
Cloudflares Steuerung gilt nur für Domains und Requests, die über die Cloudflare-Infrastruktur laufen. Sie löscht keine Inhalte aus bereits erstellten Datensätzen und kann keine frühere Trainingsnutzung rückgängig machen. Sie verhindert auch nicht jede Form der Weiterverwendung: Inhalte können über Dritte, Browserzugriffe, Kopien oder unbekannte Bots beschafft werden. Die Regeln reduzieren und strukturieren Zugriff, sie schaffen keine absolute Kontrolle über öffentlich publizierte Informationen.
Erkennung ist ebenfalls ein fortlaufender Prozess. User-Agents lassen sich fälschen; legitime Betreiber können Identitäten und Zwecke ändern; neue Crawler kommen hinzu. Cloudflare kann verifizierte Bots besser einordnen, aber unbekannte oder ausweichende Automatisierung benötigt zusätzliche Bot-Management-, Rate-Limit- und Verhaltensregeln. Zu aggressive Kontrollen können umgekehrt Accessibility-Tools, Monitoring, Vorschau-Dienste oder Suchmaschinen treffen.
Schließlich sollte die Ankündigung zeitlich korrekt gelesen werden: Zum Veröffentlichungszeitpunkt dieses Beitrags beschreibt Cloudflare einen geplanten Standard für den 15. September 2026. Betreiber sollten am Stichtag im Dashboard und mit realen Requests prüfen, ob die produktive Umsetzung der Ankündigung entspricht. Ein angekündigter Default ist noch kein Nachweis für die individuelle Konfiguration einer Domain.
Ein pragmatischer Prüfplan
Vor dem Stichtag sollten Verantwortliche zuerst die aktuelle Bot-Policy und robots.txt sichern. Danach ordnen sie Inhalte nach Zweck: Welche Seiten leben von Suchreichweite oder Werbung? Welche Dokumentation soll ein Nutzerassistent abrufen dürfen? Welche Inhalte besitzen Trainingswert, Lizenzgrenzen oder sensible Metadaten? Diese Zuordnung verhindert, dass eine globale Regel sehr unterschiedliche Seitentypen gleich behandelt.
Als Nächstes folgt die technische Gegenprobe. Betreiber prüfen wichtige URLs mit Search-Crawlern, vergleichen Cloudflare-Ereignisse mit Serverlogs und beobachten Indexierung sowie Referral-Traffic. Mehrzweck-Crawler verdienen besondere Aufmerksamkeit, weil die strengste Regel ihre Suchfunktion mit blockieren kann. Änderungen sollten dokumentiert, terminiert und nach einigen Tagen gegen reale Daten geprüft werden.
Langfristig gehört Crawler-Steuerung in Content Governance und nicht nur in die Firewall. Redaktion, SEO, Recht, Produkt und IT sollten gemeinsam festlegen, welche Gegenleistung sie von maschinellem Zugriff erwarten: Reichweite, Zitate, Transaktionen, Lizenzentgelt oder offene Weiterverwendung. Cloudflares neue Kategorien schaffen dafür eine brauchbare technische Sprache. Die eigentliche Entscheidung bleibt beim Betreiber.
Drei Kernaussagen
- Cloudflare trennt Search, Agent und Training; ab 15. September 2026 gelten für neue Domains auf werbefinanzierten Seiten unterschiedliche Standardregeln.
- Mehrzweck-Crawler können durch die strengste Regel vollständig blockiert werden, weshalb Betreiber ihre Suchsichtbarkeit nach Änderungen aktiv testen müssen.
- Edge-Regeln, robots.txt, Webanalyse und eine klare Inhaltsstrategie gehören zusammen – keine einzelne Einstellung garantiert Kontrolle oder wirtschaftlichen Nutzen.