Zum Inhalt springen
aivoma
Gratis-Check

Lösungsanleitungen · Crawler-Zugang

Ihre robots.txt sagt ChatGPT und Perplexity, sie sollen draußen bleiben

Wenn robots.txt GPTBot, OAI-SearchBot, PerplexityBot oder ClaudeBot sperrt, können KI-Assistenten Ihren WooCommerce-Shop weder lesen noch empfehlen.

Auswirkung: Kritisch Wir beheben das im Paket KI-Sichtbarkeits-Setup — 790 € · Aktualisiert

Das Symptom

  1. Ihr Shop taucht nie in Antworten von ChatGPT, Perplexity oder Copilot auf – nicht einmal bei Ihrem eigenen Markennamen.
  2. https://ihrshop.de/robots.txt enthält Zeilen wie User-agent: GPTBot gefolgt von Disallow: /, oder ein pauschales User-agent: * + Disallow: /.
  3. In den Jahren 2024–2025 wurde ein Sicherheits-, SEO- oder „KI-Blocker“-Plugin installiert, das die Regeln stillschweigend hinzugefügt hat.

Warum es wichtig ist

KI-Assistenten nutzen eigene Crawler, um Webseiten zu lesen und zu zitieren: OAI-SearchBot (ChatGPT-Suchantworten), GPTBot (OpenAI-Training und teils Abruf), PerplexityBot, ClaudeBot, Google-Extended (Gemini-Grounding) und Bingbot (Copilot). Wenn robots.txt sie sperrt, rufen sie Ihre Seiten nicht ab – und ein Shop, der nicht gelesen werden kann, kann nicht empfohlen werden.

Viele WordPress-„KI blockieren“-Plugins zielen auf alle diese Bots gleichzeitig. Für eine Nachrichtenseite, die sich um Trainingsdaten sorgt, mag das sinnvoll sein; einen Shop entfernt es aus der am schnellsten wachsenden Quelle kaufbereiter Kunden.

Speziell OAI-SearchBot zu blockieren ist die schädlichste Regel: Das ist der Bot hinter ChatGPT-Shopping- und Suchantworten, nicht hinter dem Training.

So prüfen Sie es selbst

  1. Öffnen Sie https://ihrshop.de/robots.txt im Browser. Suchen Sie nach Gruppen mit GPTBot, OAI-SearchBot, ChatGPT-User, PerplexityBot, ClaudeBot, Claude-SearchBot, Google-Extended, CCBot oder Bingbot in Verbindung mit Disallow: /.
  2. Prüfen Sie die Sammelgruppe: User-agent: * mit Disallow: / sperrt alle, auch Google.
  3. Starten Sie unten den kostenlosen Aivoma-Check – er parst robots.txt für jeden KI-Crawler und testet außerdem, ob der Server sie am Edge akzeptiert.

So beheben Sie es

  1. Finden Sie heraus, wer die Datei schreibt. WordPress erzeugt robots.txt virtuell; Rank Math (SEO → General → Edit robots.txt), Yoast (Tools → File editor, „Werkzeuge → Datei-Editor“), All in One SEO und mehrere Sicherheits-Plugins können sie überschreiben. Liegt eine physische robots.txt im Web-Root, hat sie Vorrang vor allen Plugins.
  2. Entfernen Sie die Disallow-Regeln für KI-Bots oder ersetzen Sie sie durch ausdrückliche Freigaben. Eine sichere Basis für einen WooCommerce-Shop:
  3. User-agent: * · Disallow: /wp-admin/ · Disallow: /cart/ · Disallow: /checkout/ · Disallow: /my-account/ · Disallow: /*?add-to-cart= · Allow: /wp-admin/admin-ajax.php · Sitemap: https://ihrshop.de/sitemap_index.xml
  4. Sperren Sie nicht /?s=, /product/, /product-category/ oder Ihr Bilderverzeichnis; Assistenten und Google Shopping brauchen Produktseiten und Bilder.
  5. Wenn Sie Trainings-Crawler aussperren, aber sichtbar bleiben wollen: Erlauben Sie OAI-SearchBot, ChatGPT-User, PerplexityBot, Claude-SearchBot und Bingbot und sperren Sie nur GPTBot, CCBot und Google-Extended. Beachten Sie, dass Google-Extended das Gemini-Grounding steuert – eine Sperre kann Erwähnungen in Gemini/AI Mode kosten.
  6. Öffnen Sie robots.txt nach dem Speichern erneut in einem privaten Fenster (Caches!) und starten Sie den Check erneut. Crawler übernehmen Änderungen innerhalb weniger Tage.

FAQ

Klare Antworten auf die Fragen, die Shop-Betreiber stellen

Verhindert das Blockieren von GPTBot, dass ChatGPT meinen Shop empfiehlt?

Teilweise. ChatGPT-Suchantworten stützen sich hauptsächlich auf OAI-SearchBot; wer nur GPTBot sperrt, behält die Suchantworten meist. Wer OAI-SearchBot oder ChatGPT-User sperrt, fliegt aus Antworten und Link-Vorschauen. Die meisten Plugins sperren alle drei gleichzeitig.

Verlangsamen erlaubte KI-Crawler meinen Shop?

Nicht spürbar. KI-Crawler rufen deutlich weniger ab als Googlebot, und der Shop sollte Seiten ohnehin cachen. Sehen Sie echte Last, begrenzen Sie die Rate in Cloudflare, statt zu blockieren.

Ich habe die Zeilen entfernt, aber die Datei zeigt sie weiterhin.

Leeren Sie den Seiten-Cache (LiteSpeed, WP Rocket, W3TC) und den Cloudflare-Cache und prüfen Sie, ob eine physische robots.txt im Web-Root das Plugin überschreibt.

Kostenloser Sofort-Check

Sehen Sie, was KI-Assistenten in Ihrem Shop lesen können – in 60 Sekunden

Fügen Sie Ihre Shop-URL ein. Wir prüfen live KI-Crawler-Zugang, Product-Schema, Preise, GTINs, Feeds und E-Mail-Sicherheit und zeigen die genauen Lücken. Keine Registrierung, keine Verpflichtung.

Meinen Shop kostenlos prüfen