Sümptom
- Google Search Console näitab enamiku lehtede kohta „Blocked by robots.txt“; orgaaniline liiklus on nullilähedane.
robots.txtsisaldabUser-agent: *+Disallow: /.- Pood kolis hiljuti, klooniti testkeskkonnast või avati „coming soon“ olekust.
Miks see loeb
Üldine keeld peatab korraga Googleboti, Bingboti ja kõik AI-robotid. Midagi ei indekseerita, seega ei saa midagi näidata Shoppingus, AI Overviews’is, ChatGPT-s ega Perplexitys.
WordPress kirjutab selle reegli automaatselt, kui *Settings → Reading → Discourage search engines* on märgitud — sage testkoopiatel, mis siis otse avalikuks lähevad.
Kuidas ise kontrollida
- Ava
/robots.txt. Kui ainsad reeglid onUser-agent: *jaDisallow: /, on pood suletud. - WordPress → Settings → Reading: kas „Discourage search engines from indexing this site“ on märgitud?
- Search Console → Pages → „Blocked by robots.txt“.
Kuidas parandada
- Eemalda märge *Discourage search engines* menüüs Settings → Reading ja salvesta.
- Kui veebijuurikas on füüsiline
robots.txt, muuda seda (või kustuta, et WordPress/SEO-plugin genereeriks mõistliku). - Asenda see GPTBoti juhendis toodud WooCommerce baasiga ja lisa oma saidikaardi URL.
- Search Console’is kasuta „Blocked by robots.txt“ raportil nuppu *Validate fix*; taotle peamiste kategoorialehtede indekseerimist.