KI-Bots ignorieren die llms.txt-Dateien auf fast allen untersuchten Websites

Eine Analyse von Ahrefs bei 137.000 Domains zeigt, dass 97 Prozent der llms.txt-Dateien niemals von KI-Bots abgerufen werden. Google und andere LLM-Betreiber nutzen diese Dateien, die eigentlich das Crawling-Verhalten für KI-Modelle steuern sollen, bisher kaum aktiv. Die Daten deuten darauf hin, dass der neue Standard zur Inhaltssteuerung in der Praxis noch keine Wirkung zeigt.

Warum es zählt

Marketing-Teams sollten ihre Ressourcen vorerst nicht in die manuelle Pflege von llms.txt-Dateien stecken, da die großen Sprachmodelle diese Signale weitestgehend ignorieren. Es ist ratsam, stattdessen weiterhin auf etablierte Robots.txt-Anweisungen zu setzen, um das Crawling zu steuern.