llms.txt erklärt: KI-Sichtbarkeit technisch steuern

llms.txt ist eine Markdown-Datei im Root-Verzeichnis einer Website, die Large Language Models eine kuratierte Übersicht der wichtigsten Inhalte liefert – ergänzend zu robots.txt, das den Zugriff regelt, aber keine Aussage über Relevanz trifft. Wer in ChatGPT, Perplexity oder Google AI Overviews als Quelle zitiert werden will, braucht eine technische Infrastruktur, die KI-Systemen Kontext liefert: welche Seiten zählen, wofür die Marke steht und wo die belastbaren Informationen liegen. Sichtbarkeit entsteht heute zusätzlich in den Antworten, die ChatGPT, Perplexity und Google direkt ausspielen. Wie sich Sichtbarkeit für Google und für KI-Antworten gleichzeitig steuern lässt – datenbasiert und agentengestützt –, ordnen wir hier ein. Dieser Artikel erklärt das llms.txt-Format, zeigt Best Practices für die LLM-Optimierung und ordnet ein, wie robots.txt, strukturierte Daten und Generative Engine Optimization zusammenspielen.

Was ist llms.txt – und warum reicht robots.txt nicht aus?

llms.txt ist eine Community-Konvention, kein formaler Standard. Die Spezifikation existiert seit 2024, geht auf Jeremy Howard zurück und wird von Anthropic, Perplexity und – beobachtbar, wenn auch nicht explizit bestätigt – OpenAI unterstützt. Der entscheidende Unterschied zu robots.txt: robots.txt regelt, ob ein Crawler zugreifen darf. llms.txt regelt, was ein KI-System als relevant betrachten soll. Beide Dateien koexistieren und ergänzen sich. Wer nur robots.txt pflegt, gibt KI-Systemen Zugang, aber keine Orientierung.

Unterschied zwischen robots.txt und llms.txt

• robots.txt: Zugangskontrolle auf URL-Ebene. Definiert, welche Pfade ein Crawler besuchen darf und welche nicht. Sagt nichts über Relevanz, Qualität oder Priorität.
• llms.txt: Redaktionelle Kuratierung für KI-Systeme. Liefert eine Markenbeschreibung, priorisiert Inhalte nach Funktion und gibt dem Modell Kontext, den es aus dem Crawl allein nicht ableiten kann.
• Zusammenspiel: Eine Website braucht beides. robots.txt öffnet den Zugang, llms.txt priorisiert die Inhalte.

Welche Plattformen llms.txt unterstützen

Die Plattformunterstützung ist ungleich verteilt. Anthropic und Perplexity haben die Konvention öffentlich bestätigt. OpenAI zeigt beobachtbare Korrelationen bei Citations, hat sich aber nicht explizit festgelegt. Google ignoriert llms.txt und bevorzugt seinen eigenen Signal-Stack aus Sitemap, robots.txt und strukturierten Daten. Für Marken bedeutet das: llms.txt ist eine zusätzliche Schicht zum Schema-Markup – besonders wirksam auf den Plattformen, die sie lesen.

llms.txt Format und Aufbau – so sieht eine korrekte Datei aus

Eine gut strukturierte llms.txt bleibt unter 5 KB, beginnt mit einem Marken-Summary als Blockquote und organisiert Links nach Inhaltsfunktion. Die Datei liegt unter domain.tld/llms.txt und ist in Markdown formatiert. Wer die Datei als Sitemap-Ersatz missbraucht – 200 URLs ohne Kontext –, verfehlt den Zweck. KI-Systeme behandeln eine überladene llms.txt wie Rauschen und ignorieren sie.

Pflichtbestandteile und Markdown-Auszeichnung

• Blockquote mit Markenbeschreibung: Ein Absatz, der die Marke, ihr Angebot und ihre Positionierung in zwei bis drei Sätzen zusammenfasst. Dieses Summary wird von Claude und Perplexity nachweislich für Retrieval-Entscheidungen herangezogen.
• Sektionen nach Inhaltsfunktion: Core Pages, Dokumentation, Research, Policies – jeweils mit Markdown-Links und einer einzeiligen Beschreibung pro URL.
• Kontaktinformationen: Lizenzierung, Presse, API-Zugang – damit KI-Systeme bei Unsicherheit auf die richtige Anlaufstelle verweisen können.

Häufige Fehler bei der Erstellung

Drei häufige Fehler sind dokumentiert und vermeidbar: die Datei als Sitemap missbrauchen, generische Template-Texte ohne Markenanpassung verwenden und Widersprüche zu robots.txt erzeugen, wenn beide Dateien von unterschiedlichen Teams gepflegt werden.

LLM-Crawler erkennen – GPTBot, ClaudeBot und PerplexityBot im Überblick

Zwischen Mai 2024 und Mai 2025 stieg der gesamte KI- und Such-Crawler-Traffic laut einer Cloudflare-Analyse um 18 Prozent. GPTBot wuchs um 305 Prozent. PerplexityBot verzeichnete ein Wachstum von über 157.000 Prozent – allerdings von einer sehr niedrigen Ausgangsbasis, was den extremen Prozentwert erklärt. Diese Zahlen stammen aus einem festen Kunden-Kohorten-Set und zeigen: KI-Crawler sind ein substanzieller Anteil des Bot-Traffics geworden. Wer nicht weiß, welche Bots die eigene Website besuchen, trifft keine informierte Entscheidung über Zugang und Sichtbarkeit.

Die wichtigsten KI-Crawler und ihre User-Agents

• GPTBot (OpenAI): Anteil am Crawler-Traffic von 2,2 Prozent auf 7,7 Prozent gestiegen. Wird für LLM-Training und ChatGPT-Retrieval eingesetzt.
• ClaudeBot (Anthropic): Anteil von 11,7 Prozent auf 5,4 Prozent gesunken – möglicherweise ein relativer Rückgang durch das starke Wachstum anderer Bots.
• Meta-ExternalAgent: Neueintritt mit 19 Prozent Anteil am reinen KI-Crawler-Traffic. Zweck: Datensammlung für Meta-LLMs.
• PerplexityBot: Stärkstes relatives Wachstum aller gemessenen Bots (von sehr niedriger Basis). Liefert Echtzeit-Webdaten für Perplexitys KI-Antworten.

robots.txt-Konfiguration für KI-Crawler

GPTBot ist unter den Top-10.000-Domains gleichzeitig der am häufigsten blockierte und der am häufigsten explizit erlaubte Bot: 312 Domains blockieren ihn, 61 Domains erlauben ihn ausdrücklich. Die strategische Entscheidung ist binär: Blockieren schützt Inhalte vor ungewolltem Training. Erlauben steigert die Wahrscheinlichkeit, in KI-Antworten zitiert zu werden. Wer Schutz und Sichtbarkeit kombinieren will, braucht eine differenzierte robots.txt mit partiellen Allow-Regeln für spezifische Pfade.

Website für ChatGPT und KI-Suche optimieren – die technische Basis

LLM-Optimierung (LLMO) umfasst Crawlbarkeit sicherstellen, strukturierte Daten bereitstellen und Inhalte so aufbereiten, dass KI-Systeme sie als zitierfähige Quelle erkennen. Keine dieser Ebenen funktioniert isoliert. Eine perfekte llms.txt nützt nichts, wenn robots.txt den Zugang blockiert. Schema-Markup nützt nichts, wenn der Inhalt selbst keine klaren Antworten liefert.

Strukturierte Daten für LLM – Schema.org als semantische Schicht

Schema.org-Markup liefert die Entitäts-Klarheit, die LLMs für Citation-Entscheidungen nutzen. Organization, Article, FAQPage und HowTo bilden das Mindest-Markup für KI-Sichtbarkeit. JSON-LD ist das bevorzugte Format, weil es vom HTML-Rendering entkoppelt ist und von Crawlern direkt geparst werden kann. Schema ersetzt keine guten Inhalte – aber ohne Schema fehlt dem Modell die Bestätigung, dass eine Seite tatsächlich das behandelt, was sie zu behandeln vorgibt.

PDF-Normalisierung und Content-Formate

PDFs sind für LLMs schwer parsbar. Tabellen, Spalten und eingebettete Grafiken gehen beim Textextrakt verloren. Die Lösung: Für jedes PDF eine HTML-Version bereitstellen und in der llms.txt auf die HTML-Version verlinken. Innerhalb von Inhalten verbessert eine klare Heading-Hierarchie, kurze Absätze und explizite Definitionen beim Erstauftritt eines Fachbegriffs die Extraktion durch RAG-Systeme messbar.

Wie Repurposing, Executive Ghostwriting und Qualitätssicherung agentengestützt und in Ihrer Brand Voice zusammenlaufen, zeigen wir hier im Detail.

Eine dokumentierte LLM-Optimierungsstrategie macht technische Anforderungen und Content-Prioritäten planbar. Wer den Aufbau nicht intern stemmen will, kann ihn mit einer spezialisierten Content-Marketing-Agentur wie Crispy Content® entwickeln.

AI Overviews optimieren – warum KI-Sichtbarkeit zur Pflicht wird

AI Overviews reduzieren organische Klicks erheblich. Laut einer Ahrefs-Analyse über 300.000 Keywords sank die Clickthrough-Rate für Top-Ranking-Ergebnisse zwischen Dezember 2023 und Dezember 2025 deutlich – von 100 historischen Klicks bleiben bei aktivem AI Overview nur noch rund 42 übrig. Wer nicht als Quelle in KI-Antworten erscheint, verliert Traffic unabhängig vom klassischen Ranking.

GEO – Generative Engine Optimization als neue Disziplin

Generative Engine Optimization (GEO) ist die Optimierung für KI-generierte Antworten auf Plattformen wie ChatGPT, Perplexity und Google AI Overviews. Eine Studie von Aggarwal et al. zeigt: GEO kann die KI-Sichtbarkeit um bis zu 40 Prozent steigern. Die Kernfaktoren sind Entity-Klarheit, Citation-Signale aus Earned Media, konsistente Markenerwähnungen und Quellglaubwürdigkeit. KI-Systeme bevorzugen nachweislich Drittquellen gegenüber markeneigenen Inhalten – Digital PR ist damit ein direkter GEO-Hebel.

Unterschied zwischen klassischem SEO und LLM SEO

Klassisches SEO optimiert für eine Position in den SERPs. LLM SEO optimiert für eine Zitation in KI-Antworten. Beide erfordern technische Exzellenz, aber LLM SEO priorisiert Antwortfähigkeit über Keyword-Dichte. Ein Absatz, der eine Frage direkt, faktisch und isoliert verständlich beantwortet, hat höhere Chancen auf eine Citation als eine Seite mit perfekter Keyword-Verteilung, aber vagen Aussagen.

RAG-Optimierung – Inhalte für Retrieval-Augmented Generation aufbereiten

RAG-Systeme (Retrieval-Augmented Generation) durchsuchen externe Quellen in Echtzeit, um LLM-Antworten zu fundieren. Wer als Quelle ausgewählt wird, braucht Inhalte, die isoliert verständlich und faktisch belastbar sind. Das unterscheidet RAG-optimierten Content von klassischem Web-Content, der auf Navigation und Kontext innerhalb einer Website setzt. Ein RAG-System reißt einen Absatz aus dem Zusammenhang und muss ihn trotzdem korrekt verwenden können.

• Snippet-fähige Absätze: Jeder Abschnitt beantwortet eine Frage vollständig, ohne dass der Leser den Rest der Seite kennen muss.
• Explizite Bedingungen: Annahmen ausschreiben – „für B2B-Unternehmen mit mehr als 50 Mitarbeitenden" statt „in diesem Kontext".
• Zahlen und Szenarien: Konkrete Daten statt vager Einordnungen. Ein RAG-System zitiert „42 Prozent weniger Klicks" eher als „deutlich weniger Klicks".
• Klare Pronomenreferenzen: Keine Mehrdeutigkeiten bei „es", „dies" oder „dieser". Im Zweifel das Bezugswort wiederholen.

KI-Sichtbarkeit messen und steuern – Metriken für LLM-Optimierung

KI-Sichtbarkeit lässt sich über drei Metriken operationalisieren: Citation Rate (wie oft wird die Marke in KI-Antworten zitiert), Brand Mentions (wie oft wird die Marke namentlich genannt, auch ohne Link) und Referral-Traffic aus KI-Plattformen (messbar über GA4-Attribution). Marken mit gut kuratierter llms.txt sehen einen messbaren Uplift bei Citations – besonders auf Anthropic und Perplexity, wo die Korrelation zwischen llms.txt-Qualität und Zitationshäufigkeit am stärksten ist.

Der Monitoring-Stack für LLM-Optimierung besteht aus einem llms.txt-Audit (Struktur, Abdeckung, Konsistenz mit robots.txt), Schema-Validierung (JSON-LD-Fehlerfreiheit, Entitäts-Abdeckung) und Citation-Tracking (plattformübergreifende Messung der Zitationshäufigkeit). Branchenanalysten wie Gartner prognostizieren, dass KI-gestützte Suchbesucher bis 2028 einen erheblichen Anteil des bisherigen organischen Traffics übernehmen könnten. Wer diesen Monitoring-Stack heute aufbaut, hat in 12 Monaten eine Datenbasis, die strategische Entscheidungen trägt.

Damit eine Botschaft im Rauschen der Wettbewerber zum Signal wird, muss sie außergewöhnlich sein. Warum es sich lohnt, sich auf das Wesentliche zu konzentrieren – Brand, Message und Geschäft – und die Produktion anderen zu überlassen, erläutern wir hier.

Zukunft der LLM-Optimierung – Trends bis 2027

Drei Entwicklungen prägen die nächsten 12 Monate: formale Standardisierung von llms.txt, Reifung des Toolings und eine mögliche Google-Unterstützung. Keine dieser Entwicklungen ist gesichert, aber alle sind wahrscheinlich genug, um heute Entscheidungen darauf zu stützen.

Die IETF-Diskussionen zur Standardisierung laufen. Regulatorischer Druck auf KI-Training wächst in der EU und den USA. Eine formale Spezifikation würde Compliance-Teams in regulierten Branchen – Finanzdienstleistungen, Healthcare, Legal – die Grundlage geben, llms.txt freizugeben. Bis dahin bleibt die Konvention stabil genug für den produktiven Einsatz, aber zu informell für manche Enterprise-Freigabeprozesse.

Das Tooling erreicht Sitemap-Reife: Dedizierte llms.txt-Generatoren, Validatoren und Publishing-Tools werden 2026/2027 den Reifegrad erreichen, den Sitemap-Tools heute haben. Die größte offene Frage bleibt Googles Position. Wenn Google llms.txt formal unterstützt, wird die Konvention universell. Wenn Google sich dagegen entscheidet, bleibt sie ein Signal für Anthropic, Perplexity und OpenAI – was für die meisten Marken bereits ausreicht.

Der Enterprise-Trend mit dem größten Wachstum: Brand Governance über llms.txt. Große Marken nutzen die Datei, um KI-Systeme auf kanonische Produktbeschreibungen zu lenken und die Rate zu senken, mit der Modelle Produktaussagen erfinden oder verzerren.

llms.txt, GEO und LLM SEO – die Infrastruktur für KI-Sichtbarkeit steht jetzt

Die technische Infrastruktur für KI-Sichtbarkeit besteht aus robots.txt für Zugangskontrolle, llms.txt für redaktionelle Kuratierung und strukturierten Daten für semantische Klarheit. Diese Schichten ergänzen sich gegenseitig. Marken, die alle Ebenen jetzt implementieren, sichern sich einen messbaren Vorteil bei Citations in ChatGPT, Perplexity und Google AI Overviews – bevor die Konvention zum Branchenstandard wird und der Vorsprung der frühen Adopter schrumpft. Die Mechanik folgt einem bekannten Muster: Wer zuerst eine Sitemap hatte, wurde zuerst indexiert. Wer zuerst eine llms.txt hat, wird zuerst zitiert.

Quellen

• Cloudflare (2025): From Googlebot to GPTBot: Who's Crawling Your Site in 2025. URL: https://blog.cloudflare.com/from-googlebot-to-gptbot-whos-crawling-your-site-in-2025/ (Zugriff am 13.08.2026).
• Semrush (2025): We Studied the Impact of AI Search on SEO Traffic. URL: https://www.semrush.com/blog/ai-search-seo-traffic-study/ (Zugriff am 13.08.2026).
• Ahrefs (2026): Update: AI Overviews Reduce Clicks. URL: https://ahrefs.com/blog/ai-overviews-reduce-clicks-update/ (Zugriff am 13.08.2026).
• Search Engine Land (2026): Mastering Generative Engine Optimization in 2026: Full Guide. URL: https://searchengineland.com/mastering-generative-engine-optimization-in-2026-full-guide-469142 (Zugriff am 13.08.2026).
• Omnibound AI (2026): Generative Engine Optimization Statistics (2026): 60+ Data Points. URL: https://www.omnibound.ai/blog/generative-engine-optimization-statistics (Zugriff am 13.08.2026).
• Grupa Insight (2026): Structured Data in 2026: Schema.org, AI Search and E-E-A-T. URL: https://grupainsight.com/articles/structured-data-in-the-era-of-ai-search-how-schema-org-strengthens-e-e-a-t-and-dominates-ai-overviews-sge-and-zero-click-results (Zugriff am 13.08.2026).
• Search Engine Land (2025): Meet llms.txt, a Proposed Standard for AI Website Content. URL: https://searchengineland.com/llms-txt-proposed-standard-453676 (Zugriff am 13.08.2026).
• OpenAI (2025): Overview of OpenAI Crawlers. URL: https://developers.openai.com/api/docs/bots (Zugriff am 13.08.2026).