Il sintomo
- robots.txt sembra a posto, eppure gli assistenti IA non citano mai il tuo negozio.
- Le richieste con user agent di un crawler IA ricevono 403, 429 o una pagina di challenge Cloudflare, mentre i browser normali ricevono 200.
- La dashboard Cloudflare mostra “AI Scrapers and Crawlers: Block” (predefinito per le zone create da luglio 2025) o Bot Fight Mode attivo.
Perché conta
robots.txt è solo una richiesta. È l’edge (Cloudflare, Sucuri, Wordfence, il WAF dell’hosting) a far rispettare le regole. Quando l’edge risponde 403, il crawler registra la pagina come inaccessibile e smette di provare, quindi nulla del negozio può essere citato.
Nel 2025 Cloudflare ha attivato il blocco dei bot IA per impostazione predefinita sulle nuove zone, e dal 15 settembre 2026 lo suddivide nelle categorie Search, Agent e Training. Molti titolari non hanno mai aperto quel pannello.
Bot Fight Mode e Super Bot Fight Mode sottopongono il traffico “sicuramente automatizzato” a una challenge JavaScript — che i crawler non possono risolvere.
Come verificarlo da solo
- Da qualsiasi terminale:
curl -sI -A "Mozilla/5.0 (compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot)" https://tuonegozio.it/— un 403/429/503 significa che l’edge sta bloccando. Confronta con lo user agent di un browser. - Cloudflare → Security → Bots: controlla “AI Scrapers and Crawlers” / “Block AI bots” e Bot Fight Mode. Security → AI Crawl Control elenca ogni crawler con Allow/Block.
- Security → WAF → Custom rules: cerca regole che corrispondono a
cf.verified_bot_category eq "AI Crawler"o a stringhe di user agent. - La verifica gratuita Aivoma esegue esattamente questo test edge per OAI-SearchBot e GPTBot.
Come risolverlo
- Cloudflare → Security → Bots: imposta il blocco dei bot IA su *Allow* (dopo settembre 2026: Search = Allow, Agent = Allow; Training a tua scelta). Disattiva Bot Fight Mode; se ti serve Super Bot Fight Mode, imposta *Verified bots* su Allow.
- Security → AI Crawl Control: imposta OAI-SearchBot, ChatGPT-User, GPTBot, PerplexityBot, Perplexity-User, ClaudeBot, Claude-SearchBot, Google-Extended e Bingbot su *Allow*.
- Regole WAF personalizzate: elimina o aggiungi una regola di skip per i bot verificati: espressione
cf.client.bot→ azione *Skip* (tutte le funzionalità rimanenti). - Managed robots.txt: disattiva il robots.txt gestito da Cloudflare, altrimenti aggiunge di nuovo le righe di disallow IA sopra le tue.
- Wordfence / Sucuri / WAF dell’hosting: disattiva le regole tipo “blocca bot IA” o “blocca falsi Googlebot” per i crawler verificati; metti in whitelist gli user agent sopra.
- Ripeti il test con curl finché non ottieni 200 per entrambi gli user agent dei bot.