Das Symptom
- robots.txt sieht in Ordnung aus, trotzdem zitieren KI-Assistenten Ihren Shop nie.
- Anfragen mit einem KI-Crawler-User-Agent erhalten 403, 429 oder eine Cloudflare-Challenge-Seite, normale Browser dagegen 200.
- Das Cloudflare-Dashboard zeigt „AI Scrapers and Crawlers: Block“ (Standard für Zonen, die seit Juli 2025 angelegt wurden) oder aktivierten Bot Fight Mode.
Warum es wichtig ist
robots.txt ist nur eine Bitte. Durchgesetzt wird am Edge (Cloudflare, Sucuri, Wordfence, die WAF des Hosters). Antwortet der Edge mit 403, vermerkt der Crawler die Seite als unerreichbar und gibt auf – nichts im Shop kann mehr zitiert werden.
Cloudflare hat 2025 die KI-Bot-Sperre für neue Zonen standardmäßig aktiviert und teilt sie ab dem 15. September 2026 in die Kategorien Search, Agent und Training auf. Viele Betreiber haben dieses Panel nie geöffnet.
Bot Fight Mode und Super Bot Fight Mode stellen „definitiv automatisiertem“ Traffic eine JavaScript-Challenge – die Crawler nicht lösen können.
So prüfen Sie es selbst
- In einem beliebigen Terminal:
curl -sI -A "Mozilla/5.0 (compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot)" https://ihrshop.de/– 403/429/503 bedeutet, dass der Edge blockiert. Vergleichen Sie mit einem Browser-User-Agent. - Cloudflare → Security → Bots: prüfen Sie „AI Scrapers and Crawlers“ / „Block AI bots“ und Bot Fight Mode. Security → AI Crawl Control listet jeden Crawler mit Allow/Block.
- Security → WAF → Custom rules: suchen Sie nach Regeln mit
cf.verified_bot_category eq "AI Crawler"oder User-Agent-Strings. - Der kostenlose Aivoma-Check führt genau diesen Edge-Test für OAI-SearchBot und GPTBot durch.
So beheben Sie es
- Cloudflare → Security → Bots: KI-Bot-Sperre auf *Allow* setzen (ab September 2026: Search = Allow, Agent = Allow; Training nach Ihrer Wahl). Bot Fight Mode ausschalten; wenn Sie Super Bot Fight Mode brauchen, *Verified bots* auf Allow setzen.
- Security → AI Crawl Control: OAI-SearchBot, ChatGPT-User, GPTBot, PerplexityBot, Perplexity-User, ClaudeBot, Claude-SearchBot, Google-Extended und Bingbot auf *Allow* setzen.
- WAF Custom rules: löschen oder eine Skip-Regel für verifizierte Bots hinzufügen: Ausdruck
cf.client.bot→ Aktion *Skip* (alle verbleibenden Features). - Managed robots.txt: Cloudflares verwaltete robots.txt abschalten, sonst fügt sie KI-Disallow-Zeilen über Ihre eigenen ein.
- Wordfence / Sucuri / Hosting-WAF: Regeln wie „KI-Bots blockieren“ oder „Fake-Googlebot blockieren“ für verifizierte Crawler deaktivieren; die oben genannten User-Agents auf die Whitelist setzen.
- Wiederholen Sie den curl-Test, bis beide Bot-User-Agents 200 erhalten.