Vai al contenuto
aivoma
Verifica gratuita

Guide alle soluzioni · Accesso dei crawler

Il tuo robots.txt dice a ChatGPT e Perplexity di restare fuori

Se robots.txt vieta GPTBot, OAI-SearchBot, PerplexityBot, ClaudeBot o Google-Extended, gli assistenti IA non possono leggere né consigliare il tuo negozio WooCommerce. Le regole esatte.

Impatto: Critico Lo risolviamo con Setup di visibilità IA — 790 € · Aggiornato

Il sintomo

  1. Il tuo negozio non compare mai nelle risposte di ChatGPT, Perplexity o Copilot, nemmeno cercando il tuo nome.
  2. https://tuonegozio.it/robots.txt contiene righe come User-agent: GPTBot seguito da Disallow: /, oppure un generico User-agent: * + Disallow: /.
  3. Nel 2024–2025 è stato installato un plugin di sicurezza, SEO o “blocca IA” che ha aggiunto le regole senza farsi notare.

Perché conta

Gli assistenti IA usano crawler dedicati per leggere e citare le pagine web: OAI-SearchBot (risposte di ricerca di ChatGPT), GPTBot (addestramento OpenAI e parte del recupero), PerplexityBot, ClaudeBot, Google-Extended (grounding di Gemini) e Bingbot (Copilot). Se robots.txt li vieta, non scaricano le tue pagine — e un negozio che non può essere letto non può essere consigliato.

Molti plugin WordPress “blocca IA” colpiscono tutti questi bot in una volta. Può essere ragionevole per un sito di notizie preoccupato per i dati di addestramento; per un negozio significa sparire dalla fonte di acquirenti ad alta intenzione che cresce più in fretta.

Bloccare in particolare OAI-SearchBot è la regola più dannosa in assoluto: è il bot che alimenta le risposte di shopping e ricerca di ChatGPT, non l’addestramento.

Come verificarlo da solo

  1. Apri https://tuonegozio.it/robots.txt nel browser. Cerca gruppi che nominano GPTBot, OAI-SearchBot, ChatGPT-User, PerplexityBot, ClaudeBot, Claude-SearchBot, Google-Extended, CCBot o Bingbot con Disallow: /.
  2. Controlla il gruppo generico: User-agent: * con Disallow: / blocca tutti, Google compreso.
  3. Esegui la verifica gratuita Aivoma qui sotto: analizza robots.txt per ogni crawler IA e testa anche se il server li accetta a livello edge.

Come risolverlo

  1. Scopri chi scrive il file. WordPress genera robots.txt virtualmente; Rank Math (SEO → General → Edit robots.txt), Yoast (Tools → File editor, “Strumenti → Editor file”), All in One SEO e diversi plugin di sicurezza possono sovrascriverlo. Se esiste un robots.txt fisico nella root del sito, ha la precedenza su tutti i plugin.
  2. Rimuovi le regole di disallow per i bot IA, oppure sostituiscile con allow espliciti. Una base sicura per un negozio WooCommerce:
  3. User-agent: * · Disallow: /wp-admin/ · Disallow: /cart/ · Disallow: /checkout/ · Disallow: /my-account/ · Disallow: /*?add-to-cart= · Allow: /wp-admin/admin-ajax.php · Sitemap: https://tuonegozio.it/sitemap_index.xml
  4. Non vietare /?s=, /product/, /product-category/ o la cartella delle immagini; gli assistenti e Google Shopping hanno bisogno delle pagine prodotto e delle immagini.
  5. Se vuoi tenere fuori i crawler di addestramento restando visibile, consenti OAI-SearchBot, ChatGPT-User, PerplexityBot, Claude-SearchBot e Bingbot, e vieta solo GPTBot, CCBot e Google-Extended. Tieni presente che Google-Extended controlla il grounding di Gemini, quindi bloccarlo può costarti menzioni in Gemini/AI Mode.
  6. Dopo il salvataggio riapri robots.txt in una finestra privata (cache!) ed esegui di nuovo la verifica. I crawler recepiscono le modifiche in pochi giorni.

FAQ

Risposte dirette alle domande che fanno i titolari di negozi

Bloccare GPTBot impedisce a ChatGPT di consigliare il mio negozio?

In parte. Le risposte di ricerca di ChatGPT si basano soprattutto su OAI-SearchBot, quindi bloccare solo GPTBot di solito lascia funzionare le risposte di ricerca. Bloccare OAI-SearchBot o ChatGPT-User ti elimina dalle risposte e dalle anteprime dei link. La maggior parte dei plugin li blocca tutti e tre insieme.

Consentire i crawler IA rallenta il mio negozio?

Non in modo percepibile. I crawler IA scaricano molto meno di Googlebot, e il sito dovrebbe già avere le pagine in cache. Se vedi un carico reale, limita la loro frequenza in Cloudflare invece di bloccarli.

Ho tolto le righe ma il file le mostra ancora.

Svuota la cache delle pagine (LiteSpeed, WP Rocket, W3TC) e l’eventuale cache di Cloudflare, e controlla se un file robots.txt fisico nella root del sito sovrascrive il plugin.

Verifica immediata gratuita

Scopri cosa gli assistenti IA riescono a leggere sul tuo negozio — in 60 secondi

Incolla l’URL del tuo negozio. Testiamo dal vivo accesso dei crawler IA, schema prodotto, prezzi, GTIN, feed e sicurezza email, e ti mostriamo le lacune esatte. Senza registrazione, senza impegno.

Verifica gratis il mio negozio