Le symptôme
- robots.txt semble correct, pourtant les assistants IA ne citent jamais votre boutique.
- Les requêtes avec un user agent de robot IA reçoivent un 403, un 429 ou une page de défi Cloudflare, alors que les navigateurs normaux reçoivent 200.
- Le tableau de bord Cloudflare affiche « AI Scrapers and Crawlers: Block » (par défaut pour les zones créées depuis juillet 2025) ou Bot Fight Mode activé.
Pourquoi c’est important
robots.txt n’est qu’une demande. C’est la périphérie (Cloudflare, Sucuri, Wordfence, le WAF de l’hébergeur) qui applique. Quand la périphérie renvoie 403, le robot enregistre la page comme inaccessible et cesse d’essayer : plus rien sur la boutique ne peut être cité.
Cloudflare a activé le blocage des robots IA par défaut pour les nouvelles zones en 2025 et, à partir du 15 septembre 2026, le divise en catégories Search, Agent et Training. Beaucoup de propriétaires n’ont jamais ouvert ce panneau.
Bot Fight Mode et Super Bot Fight Mode soumettent le trafic « certainement automatisé » à un défi JavaScript — que les robots ne peuvent pas résoudre.
Comment le vérifier vous-même
- Depuis n’importe quel terminal :
curl -sI -A "Mozilla/5.0 (compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot)" https://votreboutique.fr/— un 403/429/503 signifie que la périphérie bloque. Comparez avec un user agent de navigateur. - Cloudflare → Security → Bots : vérifiez « AI Scrapers and Crawlers » / « Block AI bots » et Bot Fight Mode. Security → AI Crawl Control liste chaque robot avec Allow/Block.
- Security → WAF → Custom rules : cherchez des règles correspondant à
cf.verified_bot_category eq "AI Crawler"ou à des chaînes de user agent. - La vérification gratuite Aivoma effectue exactement ce test de périphérie pour OAI-SearchBot et GPTBot.
Comment le corriger
- Cloudflare → Security → Bots : réglez le blocage des robots IA sur *Allow* (après septembre 2026 : Search = Allow, Agent = Allow ; Training à votre convenance). Désactivez Bot Fight Mode (off) ; si vous avez besoin de Super Bot Fight Mode, réglez *Verified bots* sur Allow.
- Security → AI Crawl Control : réglez OAI-SearchBot, ChatGPT-User, GPTBot, PerplexityBot, Perplexity-User, ClaudeBot, Claude-SearchBot, Google-Extended et Bingbot sur *Allow*.
- Règles WAF personnalisées : supprimez-les ou ajoutez une règle d’exception pour les robots vérifiés : expression
cf.client.bot→ action *Skip* (toutes les fonctions restantes). - Managed robots.txt : désactivez le robots.txt géré par Cloudflare, sinon il rajoute des lignes d’interdiction IA par-dessus les vôtres.
- Wordfence / Sucuri / WAF de l’hébergeur : désactivez les règles de type « bloquer les robots IA » ou « bloquer les faux Googlebot » pour les robots vérifiés ; mettez les user agents ci-dessus en liste blanche.
- Relancez le test curl jusqu’à obtenir 200 pour les deux user agents de robots.