KI-generiert
Das Wichtigste in Kürze
robots.txt steuert kooperative Crawler, ersetzt aber weder Zugriffsschutz noch eine Prüfung Ihrer tatsächlichen Serverzugriffe.
Inhalt
Ein Handwerksbetrieb veröffentlicht Referenzprojekte, ein Beratungsunternehmen Fachartikel und ein Online-Shop ausführliche Produkttexte. Dann taucht im Serverprotokoll ein unbekannter Bot auf, der viele Seiten in kurzer Zeit abruft. Die Frage ist nicht nur technisch: Soll die Website für KI-Suchen sichtbar bleiben, sollen Inhalte für das Training von KI-Modellen bereitstehen oder soll beides unterbunden werden? Kleine Unternehmen brauchen dafür eine klare Entscheidung und eine saubere Umsetzung.
Drei Ziele, die Sie getrennt betrachten sollten
„KI-Crawler sperren“ klingt eindeutig, beschreibt in der Praxis aber verschiedene Vorgänge. Wer alles in einen Topf wirft, riskiert entweder unnötige Sichtbarkeitsverluste oder einen wirkungslosen Schutz.
| Ziel | Typische technische Steuerung | Wichtige Einschränkung |
|---|---|---|
| Sichtbarkeit bei Google und Bing erhalten | Googlebot und Bingbot zulassen | Das sagt nichts über KI-Training aus |
| Nutzung von Inhalten für KI-Training begrenzen | Spezifische KI-Crawler in robots.txt sperren | Nur kooperative Bots beachten diese Vorgabe |
| Aufnahme in KI-Suchergebnisse beeinflussen | Suchbots und KI-spezifische Suchbots getrennt steuern | Die Produktnamen und Regeln der Anbieter können sich ändern |
| Bestimmte Inhalte generell nicht indexieren | Meta-Tag „noindex“ oder HTTP-Header | Kein allgemeines Verbot für KI-Training |
| Zugriff technisch verhindern | Login, Rechteverwaltung, Firewall oder WAF | Erfordert Pflege und darf echte Besucher nicht aussperren |
Für die organische Suche bleibt entscheidend, ob Suchmaschinen Ihre Seiten crawlen und indexieren dürfen. Wenn Sie beispielsweise Googlebot sperren, kann das Ihre klassische Google-Sichtbarkeit beeinträchtigen. Das ist unabhängig davon, ob Sie einem Anbieter das Training seiner Modelle erlauben möchten.
Gerade für Inhalte, die Antworten auf typische Kundenfragen liefern, kann Sichtbarkeit in KI-Suchen relevant sein. Wie Sie Seiten dafür strukturell vorbereiten, erläutert unser Beitrag KI-Suche: Website für Google AI Overviews und ChatGPT optimieren. Eine Sperre einzelner Trainingscrawler bedeutet nicht automatisch, dass Ihre Inhalte aus allen KI-gestützten Suchantworten verschwinden.
robots.txt: Die zentrale Steuerdatei richtig einsetzen
Die Datei robots.txt liegt im Hauptverzeichnis Ihrer Domain, also etwa unter https://www.ihredomain.de/robots.txt. Sie enthält Regeln für Crawler, die das Robots-Exclusion-Protocol respektieren. Für kleine Websites ist sie der sinnvollste erste Ort, um Entscheidungen zu dokumentieren und technisch umzusetzen.
Die Grundlogik ist einfach:
| Direktive | Funktion |
|---|---|
User-agent | Bezeichnet den Bot, für den eine Regel gilt |
Disallow | Sperrt einen Pfad oder mit / die gesamte Website |
Allow | Erlaubt einen Pfad ausdrücklich |
Sitemap | Verweist auf die XML-Sitemap, falls vorhanden |
Wenn Sie etwa GPTBot für das Training sperren, lautet die Regel: „User-agent: GPTBot“ und darunter „Disallow: /“. GPTBot ist ein von OpenAI benannter Crawler für die Erfassung von Inhalten zum Training. Diese Regel betrifft nicht automatisch andere OpenAI-Crawler.
Für die Praxis ist diese Unterscheidung wichtig:
- GPTBot wird mit dem Training von Modellen verbunden.
- OAI-SearchBot ist für die Suche und Suchdarstellung von OpenAI relevant.
- ChatGPT-User kann Inhalte abrufen, wenn eine Nutzeranfrage in ChatGPT das Auslesen einer Website auslöst.
- Googlebot ist für die klassische Google-Suche zuständig.
- Google-Extended ist eine separate Kennung, mit der Google nach eigener Definition bestimmte KI-Nutzungen steuern lässt, ohne die Google-Suche pauschal auszuschließen.
- ClaudeBot wird Anthropic zugeordnet und kann ebenfalls gesondert behandelt werden.
Die Namen, Funktionen und technischen Vorgaben einzelner Bots können sich ändern. Prüfen Sie deshalb vor einer Anpassung immer die aktuelle Dokumentation des jeweiligen Anbieters. Eine robots.txt mit zehn vorsorglich kopierten Bot-Namen ist keine Strategie, wenn niemand im Unternehmen weiß, warum diese Regeln existieren und wann sie zuletzt geprüft wurden.
Sinnvolle Regeln nach Unternehmensziel auswählen
Für die meisten kleinen Unternehmen sind drei Konstellationen realistisch.
Klassische Suchmaschinen erlauben, Training begrenzen
Das ist passend, wenn Google- und Bing-Traffic wichtig sind, Sie Ihre Texte aber nicht pauschal für das Training externer Modelle freigeben möchten. In diesem Fall bleiben Googlebot und Bingbot erreichbar. Sie sperren gezielt Crawler wie GPTBot, ClaudeBot oder Google-Extended, soweit das Ihrer Entscheidung entspricht.
Das ist ein differenzierter Ansatz. Er kann jedoch nicht garantieren, dass Inhalte niemals in einem KI-Kontext erscheinen. Bereits öffentlich zugängliche Seiten können über Suchindizes, Nutzereingaben, Zitate oder andere Quellen verarbeitet werden.
KI-Suche gezielt zulassen
Wenn Sie Informationsseiten, Anleitungen oder lokale Leistungen sichtbar machen wollen, kann es sinnvoll sein, KI-spezifische Suchcrawler nicht zu blockieren. Voraussetzung ist, dass Ihre Inhalte fachlich gepflegt, eindeutig zuordenbar und auf Ihrer Website aktuell sind. Veraltete Leistungsbeschreibungen oder unklare Kontaktangaben schaden auch dann, wenn die Seite technisch erreichbar ist.
Prüfen Sie in diesem Fall besonders Ihre wichtigsten Landingpages, Ihr Impressum, Ihre Kontaktwege und strukturierte Angaben zu Öffnungszeiten oder Leistungen. Für lokale Unternehmen ergänzt ein gepflegtes Profil die Website, wie unser Ratgeber Google-Unternehmensprofil optimieren: lokal gefunden werden zeigt.
Nicht öffentliche Inhalte konsequent schützen
Kundenbereiche, interne PDFs, Angebotsarchive, Testsysteme und Entwürfe gehören nicht in eine robots.txt-Sperre allein. Wenn eine URL ohne Anmeldung erreichbar ist, kann sie grundsätzlich weiterhin aufgerufen werden. Nutzen Sie für vertrauliche Bereiche eine Anmeldung, rollenbasierte Berechtigungen oder einen wirksamen Zugriffsschutz.
robots.txt ist kein Sicherheitsmechanismus. Im Gegenteil: Eine öffentlich sichtbare Sperrregel kann verraten, welche Verzeichnisse Sie besonders schützen möchten.
Meta-Tags und HTTP-Header richtig einordnen
Meta-Tags steuern vor allem die Indexierung und Darstellung durch Suchmaschinen. Ein Meta-Tag mit „noindex“ signalisiert, dass eine Seite nicht in Suchergebnissen erscheinen soll. Das kann für interne Dankeseiten, Entwürfe oder zeitlich begrenzte Kampagnen sinnvoll sein.
Für Dateien wie PDFs, Bilder oder Dokumente ist ein HTTP-Header oft geeigneter. Der Header „X-Robots-Tag: noindex“ kann auf Dateiebene gesetzt werden, ohne dass Sie eine HTML-Seite bearbeiten müssen.
Wichtig ist die Grenze: „noindex“ ist kein allgemeines Verbot, Inhalte für KI-Training zu verwenden. Ebenso ist ein „nosnippet“-Hinweis kein verlässlicher Ersatz für eine Crawler-Regel. Wenn Ihr Ziel KI-Training betrifft, steuern Sie den dafür benannten Bot in der robots.txt. Wenn Ihr Ziel die Suchindexierung betrifft, nutzen Sie „noindex“ und kontrollieren die Sichtbarkeit in den Suchwerkzeugen.
Eine KI-Richtlinie hilft, solche Entscheidungen nicht nur technisch, sondern auch organisatorisch festzuhalten. Lesen Sie dazu KI-Richtlinie für kleine Unternehmen: Inhalte und Umsetzung.
Protokolle prüfen, statt sich auf Bot-Namen zu verlassen
Nach jeder Änderung sollten Sie kontrollieren, was tatsächlich auf Ihrem Server passiert. Öffnen Sie dazu die Zugriffsprotokolle Ihres Hosters, Webservers oder Content-Delivery-Netzwerks. Relevant sind Zeitpunkt, aufgerufene URL, Statuscode, User-Agent, IP-Adresse und Abrufhäufigkeit.
Achten Sie auf diese Punkte:
- Ruft der gewünschte Bot die robots.txt überhaupt ab?
- Erhält die robots.txt den Statuscode 200 und keine Weiterleitung oder Fehlermeldung?
- Sind Ihre Regeln auf der richtigen Domain hinterlegt, also auch bei www und ohne www, falls beide Varianten erreichbar sind?
- Tauchen auffällige Crawler weiterhin nach dem gesetzten Sperrzeitpunkt auf?
- Werden wichtige Suchbots versehentlich mit blockiert?
- Wird eine gecachte Version der robots.txt durch Ihr CDN ausgeliefert?
Der User-Agent im Protokoll ist nur eine Selbstangabe und kann gefälscht werden. Wenn ein Bot ungewöhnlich aggressiv crawlt, reicht eine robots.txt nicht aus. Dann kann eine Web Application Firewall, kurz WAF, einzelne Abrufmuster drosseln oder sperren. Nutzen Sie IP-Listen nur mit Vorsicht: Anbieter können ihre Infrastruktur ändern, und pauschale Blockaden treffen unter Umständen auch legitime Dienste.
Für die technische Einordnung von KI-Texten und der Herkunft von Website-Inhalten bietet der Beitrag „Stammt der Text von einer KI?“ zusätzliche Perspektiven. Für Ihre eigene Website bleibt aber entscheidend, welche Inhalte öffentlich sein sollen und welche nicht.
Checkliste für die Umsetzung
- Legen Sie fest, ob Sie Suchsichtbarkeit, KI-Suche und KI-Training jeweils erlauben oder begrenzen wollen.
- Inventarisieren Sie öffentliche Inhalte, Dateien, Kundenbereiche und Testumgebungen.
- Sichern Sie die aktuelle robots.txt, bevor Sie Änderungen veröffentlichen.
- Sperren oder erlauben Sie konkrete Bots statt pauschal alle Crawler.
- Prüfen Sie nach der Veröffentlichung, ob die robots.txt erreichbar und korrekt ausgeliefert wird.
- Kontrollieren Sie Serverprotokolle nach einigen Tagen auf tatsächliche Zugriffe.
- Setzen Sie für vertrauliche Inhalte immer Zugangsschutz ein, nicht nur Crawler-Regeln.
- Dokumentieren Sie Zuständigkeit, Datum und Begründung jeder Änderung.
Die beste Konfiguration ist selten „alles erlauben“ oder „alles sperren“. Für kleine Unternehmen ist eine nachvollziehbare Trennung sinnvoll: Suchmaschinen dort zulassen, wo neue Kunden Sie finden sollen, Trainingscrawler bewusst behandeln und vertrauliche Bereiche technisch absichern.
vicube ist unabhängig und erhält für Empfehlungen kein Geld. Preise und Funktionen können sich ändern, prüfen Sie vor dem Kauf die Anbieterseite.
Passende Beiträge
- Website & Online
KI KI-Suche: Website für Google AI Overviews und ChatGPT optimieren KI-Suche verstehen: So optimieren Sie Ihre Website für Google AI Overviews und ChatGPT mit hilfreichen Inhalten und solider Technik. - Website & Online
KI BFSG für kleine Online-Shops: Müssen Kleinstunternehmen ihre Website barrierefrei machen? BFSG für kleine Online-Shops: Prüfen Sie, ob die Ausnahme für Kleinstunternehmen gilt und welche Barrierefreiheitsmaßnahmen sinnvoll sind. - Website & Online
KI Newsletter-Tool wählen: DSGVO-konform und günstig So wählen Sie ein DSGVO-konformes Newsletter-Tool: Double-Opt-in, AVV und EU-Server richtig umsetzen, mit ehrlichem Kostenvergleich für kleine Listen.