Sümptom
- robots.txt näeb korras välja, kuid AI-assistendid ei tsiteeri su poodi kunagi.
- AI-roboti kasutajaagendiga päringud saavad 403, 429 või Cloudflare’i kontrollilehe, tavabrauserid aga 200.
- Cloudflare’i töölaual on „AI Scrapers and Crawlers: Block“ (vaikimisi alates 2025. aasta juulist loodud tsoonidel) või Bot Fight Mode sisse lülitatud.
Miks see loeb
robots.txt on vaid palve. Jõustab võrgu serv (Cloudflare, Sucuri, Wordfence, majutaja enda WAF). Kui serv vastab 403, märgib robot lehe ligipääsmatuks ja lõpetab katsed — nii ei saa poest midagi tsiteerida.
Cloudflare lülitas 2025. aastal uutel tsoonidel AI-robotite blokeerimise vaikimisi sisse ning alates 15. septembrist 2026 jaotab selle kategooriatesse Search, Agent ja Training. Paljud omanikud pole seda paneeli kunagi avanud.
Bot Fight Mode ja Super Bot Fight Mode esitavad „kindlasti automatiseeritud“ liiklusele JavaScripti-kontrolli, mida robotid lahendada ei suuda.
Kuidas ise kontrollida
- Suvalisest terminalist:
curl -sI -A "Mozilla/5.0 (compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot)" https://sinupood.ee/— 403/429/503 tähendab, et serv blokeerib. Võrdle brauseri kasutajaagendiga. - Cloudflare → Security → Bots: kontrolli „AI Scrapers and Crawlers“ / „Block AI bots“ ja Bot Fight Mode’i. Security → AI Crawl Control loetleb iga roboti koos valikuga Allow/Block.
- Security → WAF → Custom rules: otsi reegleid, mis vastavad tingimusele
cf.verified_bot_category eq "AI Crawler"või kasutajaagendi stringidele. - Tasuta Aivoma kontroll teeb täpselt selle servatesti OAI-SearchBoti ja GPTBoti jaoks.
Kuidas parandada
- Cloudflare → Security → Bots: sea AI-robotite blokeerimine olekusse *Allow* (pärast 2026. aasta septembrit: Search = Allow, Agent = Allow; Training on sinu valik). Lülita Bot Fight Mode välja; kui vajad Super Bot Fight Mode’i, sea *Verified bots* olekusse Allow.
- Security → AI Crawl Control: sea OAI-SearchBot, ChatGPT-User, GPTBot, PerplexityBot, Perplexity-User, ClaudeBot, Claude-SearchBot, Google-Extended ja Bingbot olekusse *Allow*.
- WAF custom rules: kustuta reegel või lisa kinnitatud robotitele vahelejätureegel: avaldis
cf.client.bot→ tegevus *Skip* (kõik ülejäänud funktsioonid). - Managed robots.txt: lülita Cloudflare’i hallatav robots.txt välja, muidu lisab see sinu omale AI-keeluread uuesti peale.
- Wordfence / Sucuri / majutaja WAF: keela kinnitatud robotitele reeglid stiilis „block AI bots“ või „block fake Googlebot“; lisa ülaltoodud kasutajaagendid valgesse nimekirja.
- Korda curl-testi, kuni mõlema roboti kasutajaagendiga tuleb 200.