Zum Inhalt springen
aivoma
Gratis-Check

Lösungsanleitungen · Crawler-Zugang

Ihre robots.txt sperrt jeden Crawler aus

Ein pauschales Disallow: / in der robots.txt – meist ein Überbleibsel von Staging oder „Suchmaschinen abhalten“ – hält einen WooCommerce-Shop aus Google, Shopping und jeder KI-Antwort.

Auswirkung: Kritisch Wir beheben das im Paket KI-Sichtbarkeits-Setup — 790 € · Aktualisiert

Das Symptom

  1. Die Google Search Console meldet „Durch robots.txt blockiert“ für die meisten Seiten; organischer Traffic liegt nahe null.
  2. robots.txt zeigt User-agent: * + Disallow: /.
  3. Der Shop wurde kürzlich migriert, von Staging geklont oder aus dem „Demnächst“-Modus gestartet.

Warum es wichtig ist

Ein pauschales Disallow stoppt Googlebot, Bingbot und jeden KI-Crawler auf einmal. Nichts wird indexiert, also kann nichts in Shopping, AI Overviews, ChatGPT oder Perplexity erscheinen.

WordPress schreibt diese Regel automatisch, wenn *Settings → Reading → Discourage search engines* (Einstellungen → Lesen → Suchmaschinen abhalten) aktiviert ist – häufig bei Staging-Kopien, die dann live gehen.

So prüfen Sie es selbst

  1. Öffnen Sie /robots.txt. Wenn die einzigen Regeln User-agent: * und Disallow: / sind, ist der Shop geschlossen.
  2. WordPress → Settings → Reading (Einstellungen → Lesen): Ist „Suchmaschinen davon abhalten, diese Website zu indexieren“ aktiviert?
  3. Search Console → Seiten → „Durch robots.txt blockiert“.

So beheben Sie es

  1. Deaktivieren Sie *Suchmaschinen abhalten* unter Settings → Reading und speichern Sie.
  2. Liegt eine physische robots.txt im Web-Root, bearbeiten Sie sie (oder löschen Sie sie, damit WordPress/Ihr SEO-Plugin eine vernünftige erzeugt).
  3. Ersetzen Sie sie durch die WooCommerce-Basis aus der GPTBot-Anleitung und tragen Sie Ihre Sitemap-URL ein.
  4. Nutzen Sie in der Search Console *Korrektur überprüfen* im Bericht „Durch robots.txt blockiert“ und beantragen Sie die Indexierung der wichtigsten Kategorieseiten.

FAQ

Klare Antworten auf die Fragen, die Shop-Betreiber stellen

Wie lange dauert es, bis Google neu indexiert?

Tage für Startseite und Hauptkategorien, Wochen für tiefer liegende Produkte. Das Einreichen der Sitemap in der Search Console beschleunigt es.

Kostenloser Sofort-Check

Sehen Sie, was KI-Assistenten in Ihrem Shop lesen können – in 60 Sekunden

Fügen Sie Ihre Shop-URL ein. Wir prüfen live KI-Crawler-Zugang, Product-Schema, Preise, GTINs, Feeds und E-Mail-Sicherheit und zeigen die genauen Lücken. Keine Registrierung, keine Verpflichtung.

Meinen Shop kostenlos prüfen