Liigu sisu juurde
aivoma
Tasuta kontroll

Parandusjuhendid · Robotite ligipääs

Sinu robots.txt ütleb ChatGPT-le ja Perplexityle, et nad eemale hoiaksid

Kui robots.txt keelab GPTBoti, OAI-SearchBoti või PerplexityBoti, ei saa AI-assistendid sinu e-poodi lugeda ega soovitada. Täpsed reeglid parandamiseks.

Mõju: Kriitiline Parandame selle paketis AI-nähtavuse seadistus — 790 € · Uuendatud

Sümptom

  1. Sinu e-pood ei ilmu kunagi ChatGPT, Perplexity ega Copiloti vastustesse — isegi sinu enda brändinime järgi otsides.
  2. https://sinupood.ee/robots.txt sisaldab ridu nagu User-agent: GPTBot, millele järgneb Disallow: /, või üldist User-agent: * + Disallow: /.
  3. Aastatel 2024–2025 paigaldati turva-, SEO- või „AI-blokeerija“ plugin, mis lisas need reeglid vaikselt.

Miks see loeb

AI-assistendid kasutavad veebilehtede lugemiseks ja tsiteerimiseks eraldi roboteid: OAI-SearchBot (ChatGPT otsinguvastused), GPTBot (OpenAI treenimine ja osaliselt päringud), PerplexityBot, ClaudeBot, Google-Extended (Gemini vastuste alus) ja Bingbot (Copilot). Kui robots.txt need keelab, ei laadi nad sinu lehti — ja poodi, mida ei saa lugeda, ei saa ka soovitada.

Paljud WordPressi „blokeeri AI“ pluginad sihivad kõiki neid roboteid korraga. Uudisteportaalile, kes muretseb treeningandmete pärast, võib see olla mõistlik; e-poe jaoks tähendab see eemaldamist kõige kiiremini kasvavast ostuvalmis klientide allikast.

Kõige kahjulikum on just OAI-SearchBoti blokeerimine: see on robot, mis toidab ChatGPT ostu- ja otsinguvastuseid, mitte treenimist.

Kuidas ise kontrollida

  1. Ava brauseris https://sinupood.ee/robots.txt. Otsi gruppe, mis nimetavad GPTBot, OAI-SearchBot, ChatGPT-User, PerplexityBot, ClaudeBot, Claude-SearchBot, Google-Extended, CCBot või Bingbot koos reegliga Disallow: /.
  2. Kontrolli üldgruppi: User-agent: * koos Disallow: / blokeerib kõik, ka Google’i.
  3. Käivita allpool tasuta Aivoma kontroll — see parsib robots.txt iga AI-roboti jaoks ja testib ka, kas server neid võrgu servas (edge) läbi laseb.

Kuidas parandada

  1. Leia, kes faili kirjutab. WordPress genereerib robots.txt virtuaalselt; Rank Math (SEO → General → Edit robots.txt), Yoast (Tools → File editor), All in One SEO ja mitmed turvapluginad võivad seda üle kirjutada. Kui veebijuurikas on füüsiline robots.txt, on see kõigi pluginate suhtes ülimuslik.
  2. Eemalda AI-robotite keelureeglid või asenda need selgesõnaliste lubadega. Turvaline baas WooCommerce e-poele:
  3. User-agent: * · Disallow: /wp-admin/ · Disallow: /cart/ · Disallow: /checkout/ · Disallow: /my-account/ · Disallow: /*?add-to-cart= · Allow: /wp-admin/admin-ajax.php · Sitemap: https://sinupood.ee/sitemap_index.xml
  4. Ära keela /?s=, /product/, /product-category/ ega oma pildikausta; assistendid ja Google Shopping vajavad tootelehti ja pilte.
  5. Kui soovid treeningrobotid eemal hoida, kuid jääda nähtavaks, luba OAI-SearchBot, ChatGPT-User, PerplexityBot, Claude-SearchBot ja Bingbot ning keela ainult GPTBot, CCBot ja Google-Extended. Pane tähele, et Google-Extended juhib Gemini vastuste alust, nii et selle blokeerimine võib maksta Gemini/AI Mode’i mainimisi.
  6. Pärast salvestamist ava robots.txt uuesti privaataknas (vahemälu!) ja käivita kontroll uuesti. Robotid võtavad muudatused üle mõne päevaga.

KKK

Otsekohesed vastused küsimustele, mida e-poe omanikud küsivad

Kas GPTBoti blokeerimine takistab ChatGPT-l minu poodi soovitamast?

Osaliselt. ChatGPT otsinguvastused toetuvad peamiselt OAI-SearchBotile, nii et ainult GPTBoti blokeerimine jätab otsinguvastused tavaliselt toimima. OAI-SearchBoti või ChatGPT-Useri blokeerimine eemaldab su vastustest ja lingi eelvaadetest. Enamik pluginaid blokeerib kõik kolm korraga.

Kas AI-robotite lubamine aeglustab mu poodi?

Mitte märgatavalt. AI-robotid laadivad palju vähem kui Googlebot ja pood peaks nagunii lehti vahemällu salvestama. Kui näed tegelikku koormust, piira nende kiirust Cloudflare’is, mitte ära blokeeri.

Eemaldasin read, aga fail näitab neid endiselt.

Tühjenda lehe vahemälu (LiteSpeed, WP Rocket, W3TC) ja Cloudflare’i vahemälu ning kontrolli, kas veebijuurikas olev füüsiline robots.txt fail kirjutab plugina üle.

Tasuta kiirkontroll

Vaata 60 sekundiga, mida AI-assistendid sinu e-poes lugeda saavad

Sisesta oma e-poe aadress. Testime kohe AI-robotite ligipääsu, tooteskeemi, hindu, EAN-koode, tootevoogu ja e-posti turvalisust ning näitame täpsed puudused. Registreerimata, kohustusteta.

Kontrolli oma e-poodi tasuta