OpenAI ignoriert robots.txt-Sperren beim Echtzeit-Abruf durch ChatGPT

OpenAI bestätigt in seiner Dokumentation, dass der User-Agent für den Echtzeit-Zugriff auf Webinhalte nicht zwingend auf die robots.txt-Datei reagiert. Während der klassische GPTBot für das Training von Sprachmodellen blockierbar bleibt, dient der Fetch-Bot dem direkten Abruf aktueller Informationen durch Nutzeranfragen. Die betroffenen Seiten werden somit trotz expliziter Sperre in den Antworten der KI-Suche verarbeitet und angezeigt.

Warum es zählt

Webmaster und SEO-Verantwortliche müssen verstehen, dass der Ausschluss vom KI-Training nicht automatisch den Ausschluss aus der Antwort-Engine bedeutet. Die Steuerung der Sichtbarkeit in ChatGPT erfordert differenziertere technische Ansätze als die herkömmliche robots.txt.