El síntoma
- robots.txt parece correcto, pero los asistentes de IA nunca citan tu tienda.
- Las peticiones con un user agent de rastreador de IA reciben un 403, un 429 o una página de desafío de Cloudflare, mientras que los navegadores normales reciben 200.
- El panel de Cloudflare muestra «AI Scrapers and Crawlers: Block» (valor por defecto en zonas creadas desde julio de 2025) o Bot Fight Mode activado.
Por qué importa
robots.txt es solo una petición. Quien la aplica es el borde (Cloudflare, Sucuri, Wordfence, el WAF del propio hosting). Cuando el borde devuelve 403, el rastreador marca la página como inaccesible y deja de intentarlo, así que no se puede citar nada de la tienda.
Cloudflare activó el bloqueo de bots de IA por defecto para las zonas nuevas en 2025 y, desde el 15 de septiembre de 2026, lo divide en las categorías Search, Agent y Training. Muchos propietarios nunca han abierto ese panel.
Bot Fight Mode y Super Bot Fight Mode presentan un desafío JavaScript al tráfico «definitivamente automatizado», que los rastreadores no pueden resolver.
Cómo comprobarlo tú mismo
- Desde cualquier terminal:
curl -sI -A "Mozilla/5.0 (compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot)" https://tutienda.es/. Un 403/429/503 significa que el borde está bloqueando. Compara con el user agent de un navegador. - Cloudflare → Security → Bots: revisa «AI Scrapers and Crawlers» / «Block AI bots» y Bot Fight Mode. Security → AI Crawl Control lista cada rastreador con Allow/Block.
- Security → WAF → Custom rules: busca reglas que coincidan con
cf.verified_bot_category eq "AI Crawler"o con cadenas de user agent. - La comprobación gratuita de Aivoma realiza exactamente esta prueba de borde para OAI-SearchBot y GPTBot.
Cómo solucionarlo
- Cloudflare → Security → Bots: pon el bloqueo de bots de IA en *Allow* (después de septiembre de 2026: Search = Allow, Agent = Allow; Training queda a tu elección). Desactiva Bot Fight Mode; si necesitas Super Bot Fight Mode, pon *Verified bots* en Allow.
- Security → AI Crawl Control: pon OAI-SearchBot, ChatGPT-User, GPTBot, PerplexityBot, Perplexity-User, ClaudeBot, Claude-SearchBot, Google-Extended y Bingbot en *Allow*.
- Reglas personalizadas del WAF: elimínalas o añade una regla de exclusión para los bots verificados: expresión
cf.client.bot→ acción *Skip* (todas las funciones restantes). - Managed robots.txt: desactiva el robots.txt gestionado de Cloudflare; de lo contrario vuelve a añadir líneas de bloqueo de IA encima de las tuyas.
- Wordfence / Sucuri / WAF del hosting: desactiva las reglas tipo «block AI bots» o «block fake Googlebot» para los rastreadores verificados; añade a la lista blanca los user agents anteriores.
- Repite la prueba con curl hasta obtener 200 con ambos user agents de bot.