AI-robotid ja WooCommerce: luba GPTBotil, PerplexityBotil ja Claude’il sinu e-poodi lugeda (robots.txt + Cloudflare, 2026)

Kui AI-assistent ei saa sinu lehti laadida, ei loe midagi muud, mida sa AI-nähtavuse heaks teed. Ometi on AI-robotite blokeerimine muutunud suurel osal veebist vaikeseadistuseks — Cloudflare lülitab selle uutes tsoonides sisse, turvapluginad tulevad kaasa robotite mustade nimekirjadega ja majutuse WAF-id esitavad väljakutse kõigele, mis pole brauser. E-poe jaoks, mis tahab olla soovitatud, on see iseendale tekitatud nähtamatus.

Tunne roboteid (ja tea, mida igaüks teeb)

AI-ga seotud agente on kolme liiki. Nende segiajamine on põhjus, miks nii paljud e-poed blokeerivad vale asja.

Pakkuja	Otsingu/leidmise indeks (neid sa tahad)	Kasutaja käivitatud laadimine (neid sa tahad)	Treeningrobot
OpenAI	OAI-SearchBot	ChatGPT-User	GPTBot
Perplexity	PerplexityBot	Perplexity-User	—
Anthropic	Claude-SearchBot	Claude-User	ClaudeBot
Google	Googlebot (toidab ka AI Overviews’i / AI Mode’i)	Google-Agent ja teised kasutaja käivitatud laadijad	Google-Extended (robots-token; selle blokeerimine ei eemalda sind AI Overviews’ist ega AI Mode’ist)
Microsoft	Bingbot (toidab Copilotit)	—	juhitakse noarchive/nocache metasiltidega, mitte user agent’i järgi
Mistral	MistralAI-Index	MistralAI-User	MistralAI-Training
Apple	Applebot	—	Applebot-Extended (token)

Otsingurobotid otsustavad, kas sind saab tsiteerida. Kasutaja käivitatud laadijad laevad sinu lehe siis, kui keegi parasjagu assistendilt sinu kohta küsib. Treeningrobotid toidavad tulevasi mudeleid. E-pood peaks esimesed kaks kõhklemata lubama; treeningrobotite lubamine on äriotsus, kuid pane tähele, et just mudeli treeningandmetes olemine on see, kuidas bränd jõuab mudeli „mällu“.

robots.txt e-poele, mis tahab AI-nähtavust

Kõige lihtsam korrektne fail lubab kõike peale privaatsete teede:

User-agent: *
Allow: /
Disallow: /wp-admin/
Disallow: /cart/
Disallow: /checkout/
Disallow: /my-account/
Sitemap: https://yourstore.com/sitemap_index.xml

OAI-SearchBot, PerplexityBot ja Claude-SearchBot eraldi loetlemine koos Allow: / on kahjutu ja teeb kavatsuse audititele nähtavaks, kuid pole vajalik, kui * juba lubab.

Kaks lõksu: kasutaja käivitatud laadijad (ChatGPT-User, Perplexity-User) eiravad robots.txt-d nagunii enamasti — tegelik värav on sinu tulemüür. Ja Bingi/Copiloti jaoks väldi noarchive/nocache metasilte lehtedel, mida tahad tsiteerituna näha.

Cloudflare: viis lülitit, mida kontrollida

1. Security → Settings → AI bot policy. Alates 2025. aasta juulist on uute tsoonide vaikeseadistus block. Alates 15. septembrist 2026 on seade jagatud osadeks Search / Agent / Training; sea need, mida soovid, olekusse Allow — ja pane tähele, et Cloudflare hoiatab: „Training“ blokeerimine võib mõjutatud lehtedel blokeerida ka mitmeotstarbelisi roboteid nagu Googlebot ja Bingbot.
2. AI Crawl Control. Sea iga AI-robot olekusse Allow (mitte Block ega Charge). Vaata üle robots.txt rikkumiste vaade.
3. Bot Fight Mode / Super Bot Fight Mode. Tasuta paketi Bot Fight Mode esitab mustri järgi tuvastatud robotitele väljakutse ja seda ei saa WAF-reeglitega vahele jätta; lülita see välja või uuenda paketti ja sea Verified bots = Allow. Kui kasutad Cloudflare Tunnelit, jäta Definitely automated = Allow.
4. Managed robots.txt. See funktsioon lisab sinu faili algusesse Disallow: / reeglid AI treeningrobotitele ja Content-Signal rea. Lülita see välja ja veendu, et sinu avalik /robots.txt näitab ainult sinu enda reegleid.
5. WAF custom rules ja rate limits. Otsi reegleid, mis vastavad robotite user agent’idele või pilveteenuse pakkujate ASN-idele, ja jäta robotitooted vahele cf.verified_bot_category väärtustele AI Crawler / AI Search / AI Assistant.

Majutus ja WordPressi pluginad

• Turvapluginad (Wordfence, All-in-One Security jt) tulevad sageli kaasa „halbade robotite“ nimekirjadega, mis sisaldavad AI user agent’e. Lisa ülaltoodud otsingu- ja kasutaja käivitatud agendid valgesse nimekirja.
• Mõned hallatud WordPressi majutajad blokeerivad roboteid servavõrgus; küsi toelt nende AI-robotite poliitikat.
• Vahemälukihid ei tohi mitte-brauseritest agentidele serveerida HTML-fragmente ega väljakutselehti.

Kontrolli väljastpoolt

curl -sI -A "Mozilla/5.0 (compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot)" https://yourstore.com/
curl -sI -A "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)" https://yourstore.com/

Sa tahad näha HTTP/2 200 ja päris HTML-i, mitte 403, väljakutselehte ega ümbersuunamise tsüklit. Korda sama tootelehe ja kategoorialehega. Seejärel vaata Cloudflare Security Analyticsist blokeeritud päringuid nende user agent’idega.

Aga llms.txt?

Google on öelnud, et otsing seda ei kasuta; OpenAI robotite dokumentatsioon soovitab robots.txt-d, mitte llms.txt-d; ja Ahrefs leidis, et 137 000 saidi seas ei päritud 97% llms.txt failidest kunagi. Selle avaldamine on kahjutu, kuid tulemused tulevad robotite ligipääsust, tootevoogudest ja skeemist.

Pole kindel, kas sinu e-pood on loetav? Meie tasuta AI-nähtavuse kontroll sisaldab väljastpoolt tehtud robotitesti iga suurema AI-agendi jaoks.

---

Allikad: OpenAI robotite dokumentatsioon; Perplexity robotite dokumentatsioon; Anthropicu roomajate tugiartikkel; Google Search Central — levinud roomajad ja „AI features and your website“; Cloudflare — „Introducing Pay Per Crawl“ (juuli 2025), „Content Independence Day“ (juuli 2026), AI Crawl Controli ja Bot Fight Mode’i dokumentatsioon; Ahrefsi llms.txt uuring (juuni 2026).