Was ist llms.txt, und wie erscheint Ihre Website in ChatGPT, Claude und Perplexity?

llms.txt ist ein Vorschlag für eine Datei im Stammverzeichnis Ihrer Website, die KI-Systemen Ihre Website im Markdown-Format zusammenfasst; sie ist kein offizieller Standard, und es ist nicht garantiert, dass KI-Unternehmen diese Datei lesen. Ob Ihre Website in Antworten von ChatGPT, Claude oder Perplexity vorkommt, hängt in der Praxis davon ab, ob die Crawler dieser Unternehmen Ihre Seiten erreichen und die Informationen darauf lesen können. Diesen Zugang steuern Ihre robots.txt-Datei und, falls Sie eines nutzen, die Bot-Einstellungen Ihres CDN.

Was ist llms.txt?

llms.txt ist ein Vorschlag, den Jeremy Howard am 3. September 2024 unter llmstxt.org veröffentlicht hat. Laut der Seite wurde der Vorschlag am 10. August 2026 aktualisiert, und es handelt sich um die zweite Version. Ziel ist, dass Sprachmodelle die wichtigsten Informationen einer Website schnell erfassen können, ohne sich durch komplexe HTML-Seiten arbeiten zu müssen.

Nach dem Vorschlag liegt die Datei unter /llms.txt und wird in Markdown geschrieben. Der Aufbau ist der Reihe nach:

1. Eine Zeile # Titel mit dem Namen der Website oder des Projekts. Dies ist der einzige Pflichtabschnitt des Vorschlags.
2. Ein Zitatblock, der mit > beginnt und die Website kurz zusammenfasst.
3. Optionale, frei formulierte Beschreibungsabsätze.
4. Unter Überschriften der Form ## Abschnittsname Listen mit Links zu wichtigen Seiten. Zu jedem Link kann eine kurze Beschreibung ergänzt werden.
5. Traditionell ein Abschnitt namens ## Optional für nachrangige Informationen.

Der Vorschlag empfiehlt außerdem, von wichtigen Seiten eine saubere Markdown-Version unter derselben Adresse mit angehängtem .md bereitzustellen.

Wird es unterstützt?

llmstxt.org gibt an, dass OpenAI, Anthropic und Gemini für ihre eigene Entwicklerdokumentation eine llms.txt veröffentlichen. Dass ein Unternehmen diese Datei für die eigene Dokumentation bereitstellt, bedeutet aber nicht, dass seine Crawler die llms.txt-Dateien anderer Websites lesen. Auf den unten als Quellen genannten Crawler-Seiten von OpenAI, Anthropic und Perplexity findet sich keine Zusage, dass diese Unternehmen die llms.txt von Websites verwenden.

Betrachten Sie llms.txt deshalb als einfach zu erstellende, unschädliche Ergänzung. Die eigentlichen Informationen Ihrer Website sollten weiterhin auf den Seiten selbst lesbar sein.

KI-Crawler: Training, Suche und Nutzeranfrage

KI-Unternehmen kommen nicht mit einem einzigen Bot auf Ihre Website. Laut ihrer offiziellen Dokumentation crawlen sowohl OpenAI als auch Anthropic für unterschiedliche Zwecke unter unterschiedlichen Namen (User-Agents). Auch Perplexity trennt Suchindex und Nutzeranfrage auf verschiedene Bots auf.

Praktisch bedeutet diese Unterscheidung: Sie möchten vielleicht nicht, dass Ihre Inhalte für das Modelltraining verwendet werden, wohl aber, dass Ihre Website als Quelle erscheint, wenn jemand ChatGPT oder Claude nach Ihrer Branche fragt. Beide Präferenzen lassen sich unabhängig voneinander steuern.

• OpenAI schreibt, dass OAI-SearchBot dazu dient, Websites in den Suchfunktionen von ChatGPT anzuzeigen, und GPTBot dazu, Inhalte zu crawlen, die für das Training der Basismodelle verwendet werden können, und dass jede Einstellung unabhängig von den anderen ist. Da ChatGPT-User durch eine Nutzeraktion ausgelöst wird, gelten robots.txt-Regeln für ihn möglicherweise nicht, wie OpenAI ebenfalls anmerkt.
• Anthropic gibt an, dass das Blockieren von ClaudeBot als Wunsch gewertet wird, künftige Inhalte Ihrer Website aus Trainingsdatensätzen auszuschließen, während das Blockieren von Claude-SearchBot und Claude-User die Sichtbarkeit Ihrer Website in Suchantworten verringern kann. Laut Anthropic halten sich alle drei Bots an robots.txt-Regeln.
• Perplexity schreibt, dass PerplexityBot dazu dient, Websites in den Suchergebnissen von Perplexity anzuzeigen, und keine Inhalte für das Training von Basismodellen sammelt. Perplexity-User handelt dagegen auf Nutzeranfrage und beachtet robots.txt-Regeln in der Regel nicht.

Wie Sie das mit robots.txt steuern

robots.txt ist eine Textdatei im Stammverzeichnis Ihrer Website, die Bots mitteilt, welche Pfade sie crawlen dürfen. Die Regeln werden nach User-Agent-Namen geschrieben. Eine Präferenz „kein Modelltraining, aber Suche erlaubt“ ließe sich zum Beispiel so ausdrücken:

• User-agent: GPTBot und darunter Disallow: /
• User-agent: ClaudeBot und darunter Disallow: /
• User-agent: OAI-SearchBot und darunter Allow: /
• User-agent: Claude-SearchBot und darunter Allow: /

Das ist keine Empfehlung, sondern nur ein Schreibbeispiel; welche Bots Sie zulassen, ist eine Entscheidung Ihres Unternehmens. Achten Sie auf einige Punkte:

• Anthropic weist darauf hin, dass die robots.txt für jede Subdomain, die Sie blockieren möchten, gesondert angepasst werden muss. Wenn Sie Subdomains wie www und blog haben, prüfen Sie beide.
• Anthropic rät von einer Sperre nach IP-Adresse ab; da diese Methode den Bot auch daran hindert, Ihre robots.txt zu lesen, ist nicht gewährleistet, dass Ihre Präferenz dauerhaft umgesetzt wird.
• Wie oben gesehen, halten sich manche Bots, die auf Nutzeranfrage arbeiten, möglicherweise nicht an robots.txt. Verstehen Sie robots.txt daher nicht als Zugangssperre, sondern als Mitteilung Ihrer Präferenz.

Prüfen Sie die Bot-Einstellungen Ihres CDN

Wenn Sie Ihre Website hinter einem CDN betreiben, kann ein Bot, den Sie in der robots.txt zulassen, auf der CDN-Ebene blockiert sein. Cloudflare zum Beispiel bietet an, KI-Bots nach ihrem Verhalten in drei Gruppen einzuteilen und zu blockieren:

• Search: Crawler, die Ihre Inhalte sammeln oder indexieren, um später Fragen zu beantworten.
• Agent: automatisierte Aktivität, die in Echtzeit im Auftrag einer Person handelt, etwa Bots von Chat-Assistenten, die Seiten abrufen, und Agenten, die einen Browser steuern.
• Training: Crawler, die Ihre Inhalte zum Training oder Feintuning eines Modells abrufen; auch Crawler mit Mischzweck für Training und Suche gehören in diese Gruppe.

Laut Cloudflare-Dokumentation können Sie für jede Gruppe wählen, ob auf allen Seiten, nur auf Seiten mit Werbung oder gar nicht blockiert wird. Nutzen Sie ein anderes CDN oder eine andere Firewall, prüfen Sie in der Dokumentation Ihres Anbieters, ob es eine vergleichbare Einstellung gibt. Wichtig ist, dass Ihre Präferenz in der robots.txt und Ihre CDN-Einstellung einander nicht widersprechen.

Kurze Checkliste

1. Halten Sie die Kerninformationen im HTML lesbar. Was Sie verkaufen, für wen Sie arbeiten, wie Sie Preise gestalten und wie man Sie erreicht, sollte im Seitentext stehen. Text, der nur in einem Bild steckt oder erst nach dem Laden per JavaScript erscheint, kann nicht von jedem Crawler gelesen werden.
2. Sorgen Sie für eine klare Übersichtsseite. Der erste Absatz Ihrer Seite „Über uns“ oder Ihrer Produktseite sollte Ihr Unternehmen in zwei, drei Sätzen treffend beschreiben. KI-Assistenten zitieren solche klaren Sätze bevorzugt.
3. Lesen Sie Ihre robots.txt. Öffnen Sie im Browser ihredomain.com/robots.txt und prüfen Sie, ob eine Zeile ungewollt alle Bots oder einen der oben genannten Bots blockiert.
4. Prüfen Sie CDN- und Firewall-Einstellungen. Ist eine Sperre für KI-Bots aktiv, vergewissern Sie sich, dass dies eine bewusste Entscheidung ist.
5. Ergänzen Sie optional eine llms.txt. Eine schlichte Datei mit dem Namen Ihrer Website, einer kurzen Zusammenfassung und Links zu Ihren wichtigsten Seiten genügt. Achten Sie darauf, dass sie Ihren Seiten nicht widerspricht und aktuell bleibt.
6. Beobachten Sie das Ergebnis. Verfolgen Sie in Ihren Serverprotokollen oder mit einem Traffic-Tool, welche Bots Ihre Website besuchen. Ein Bot, der kein JavaScript ausführt, erscheint nicht in Besucherzählern, die nur im Browser laufen; serverseitige Protokolle sind deshalb die verlässlichere Quelle.