Crawler IA e WooCommerce: lascia che GPTBot, PerplexityBot e Claude leggano il tuo negozio (robots.txt + Cloudflare, 2026)

Quali bot IA contano davvero, e le impostazioni esatte di robots.txt, Cloudflare e hosting che impediscono al tuo negozio WooCommerce di restare invisibile…

Di Harri Reili Pubblicato 15 agosto 2026 7 min di lettura

Se un assistente IA non riesce a scaricare le tue pagine, tutto il resto che fai per la visibilità IA non conta. Eppure bloccare i crawler IA è diventato l’impostazione predefinita su gran parte del web: Cloudflare lo attiva per le nuove zone, i plugin di sicurezza includono liste di bot da bloccare e i WAF degli hosting sottopongono a challenge tutto ciò che non è un browser. Per un negozio che vuole essere consigliato, è invisibilità autoinflitta.

Conosci i bot (e cosa fa ciascuno)

Esistono tre tipi di agenti legati all’IA. Confonderli è il motivo per cui così tanti negozi bloccano la cosa sbagliata.

Fornitore	Indice di ricerca / recupero (questi li vuoi)	Fetch attivato dall’utente (questi li vuoi)	Crawler di addestramento
OpenAI	`OAI-SearchBot`	`ChatGPT-User`	`GPTBot`
Perplexity	`PerplexityBot`	`Perplexity-User`	—
Anthropic	`Claude-SearchBot`	`Claude-User`	`ClaudeBot`
Google	`Googlebot` (alimenta anche AI Overviews / AI Mode)	Google-Agent e altri fetcher utente	`Google-Extended` (un token robots; bloccarlo non ti rimuove da AI Overviews o AI Mode)
Microsoft	`Bingbot` (alimenta Copilot)	—	controllato dai meta `noarchive`/`nocache`, non dallo user agent
Mistral	`MistralAI-Index`	`MistralAI-User`	`MistralAI-Training`
Apple	`Applebot`	—	`Applebot-Extended` (token)

I bot di ricerca decidono se puoi essere citato. I fetcher attivati dall’utente caricano la tua pagina quando qualcuno chiede all’assistente di te in quel momento. I crawler di addestramento alimentano i modelli futuri. Un negozio dovrebbe consentire i primi due senza esitazione; consentire i crawler di addestramento è una scelta aziendale, ma tieni presente che essere nei dati di addestramento di un modello è il modo in cui un marchio finisce nella sua “memoria”.

robots.txt per un negozio che vuole visibilità IA

Il file corretto più semplice consente tutto tranne i percorsi privati:

User-agent: *
Allow: /
Disallow: /wp-admin/
Disallow: /cart/
Disallow: /checkout/
Disallow: /my-account/
Sitemap: https://tuonegozio.it/sitemap_index.xml

Elencare esplicitamente OAI-SearchBot, PerplexityBot, Claude-SearchBot con Allow: / è innocuo e rende l’intenzione visibile negli audit, ma non è necessario quando * già consente.

Due trappole: i fetcher attivati dall’utente (ChatGPT-User, Perplexity-User) per lo più ignorano comunque robots.txt — il vero cancello è il tuo firewall. E per Bing/Copilot, evita i meta tag noarchive/nocache sulle pagine che vuoi vengano citate.

Cloudflare: cinque interruttori da controllare

Security → Settings → AI bot policy. Da luglio 2025 le nuove zone hanno come predefinito block. Dal 15 settembre 2026 l’impostazione è suddivisa in Search / Agent / Training; imposta quelle che vuoi su Allow — e nota che Cloudflare avverte che bloccare “Training” può bloccare anche crawler multiuso come Googlebot e Bingbot sulle pagine interessate.
AI Crawl Control. Imposta ogni crawler IA su Allow (non Block o Charge). Controlla la vista delle violazioni di robots.txt.
Bot Fight Mode / Super Bot Fight Mode. Il Bot Fight Mode del piano gratuito sottopone a challenge i bot riconosciuti per pattern e non può essere escluso con regole WAF; disattivalo oppure passa a un piano superiore e imposta Verified bots = Allow. Se usi Cloudflare Tunnel, mantieni Definitely automated = Allow.
Managed robots.txt. Questa funzione antepone regole Disallow: / per i bot di addestramento IA e una riga Content-Signal al tuo file. Disattivala, poi verifica che il tuo /robots.txt live mostri solo le tue regole.
Regole WAF personalizzate e rate limit. Cerca regole che corrispondono a user agent di bot o ad ASN di provider cloud, e salta i prodotti bot per cf.verified_bot_category in AI Crawler / AI Search / AI Assistant.

Hosting e plugin WordPress

I plugin di sicurezza (Wordfence, All-in-One Security, ecc.) spesso includono liste di “bad bot” che comprendono user agent IA. Metti in whitelist gli agenti di ricerca e quelli attivati dall’utente elencati sopra.
Alcuni hosting WordPress gestiti bloccano i bot a livello edge; chiedi al supporto qual è la loro policy sui crawler IA.
I livelli di cache non devono servire frammenti HTML o pagine di challenge agli agenti non-browser.

Verifica dall’esterno

curl -sI -A "Mozilla/5.0 (compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot)" https://tuonegozio.it/
curl -sI -A "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)" https://tuonegozio.it/

Vuoi HTTP/2 200 e HTML vero, non un 403, una pagina di challenge o un loop di redirect. Ripeti per una pagina prodotto e una pagina categoria. Poi guarda in Cloudflare Security Analytics le richieste bloccate con quegli user agent.

E llms.txt?

Google ha dichiarato che Search non lo usa; la documentazione dei crawler di OpenAI raccomanda robots.txt, non llms.txt; e Ahrefs ha rilevato che il 97% dei file llms.txt su 137.000 siti non è mai stato richiesto. Pubblicarlo è innocuo, ma i risultati arrivano da accesso dei crawler, feed e schema.

Non sai se il tuo negozio è leggibile? La nostra verifica gratuita di visibilità IA include un test dei crawler dall’esterno per ogni principale agente IA.

Fonti: documentazione dei bot di OpenAI; documentazione dei bot di Perplexity; articolo di supporto sui crawler di Anthropic; Google Search Central — crawler comuni e “AI features and your website”; Cloudflare — “Introducing Pay Per Crawl” (luglio 2025), “Content Independence Day” (luglio 2026), documentazione di AI Crawl Control e Bot Fight Mode; studio Ahrefs su llms.txt (giugno 2026).