LLMs-full.txt: Die harte Wahrheit zum KI-Trend

Mit dem Aufkommen autonomer Programmier-Agenten wie Cursor oder Claude Code und unternehmensinterner RAG-Systeme (Retrieval-Augmented Generation) hat sich die Art und Weise, wie Software das Web liest, fundamental verändert. Herkömmliche HTML-Seiten transportieren neben dem eigentlichen Inhalt Tausende Zeilen an Navigationsbäumen, Werbebannern, Tracking-Skripten und Layout-Hierarchien. Für ein Sprachmodell bedeutet dieser visuelle Ballast unnötigen Tokenverbrauch und verzögerte Antwortzeiten.

Als Ergänzung zur kompakteren llms.txt entstand die Spezifikation der llms-full.txt. Während die Index-Variante als schlankes Inhaltsverzeichnis dient, stellt die Volltext-Version das gebündelte, pure Fachwissen einer Plattform in einer einzigen Markdown-Datei bereit. Doch in der Marketing-Welt kursieren gefährliche Mythen: Viele Agenturen verkaufen die Datei als Wundermittel für automatische Spitzenplatzierungen in Suchmaschinen. Eine nüchterne technische Einordnung zeigt, was die Datei tatsächlich leistet und wo ihre Grenzen liegen.

Jörg Zimmer

Senior SEO & AI Search Consultant

„Die 5 Minuten zur Erstellung einer llms .txt sind gut invetiert. Die 5 Minuten für die viel bessere llms-full .txt ebenfalls. Man erspart sich das Lesen weitere Beiträge in denen nur darüber geredet wird.“

1. Was ist die llms-full.txt und wie funktioniert sie?

Die Initiative für strukturierte Textdateien geht auf Jeremy Howard zurück, der im Spätsommer 2024 vorschlug, Websites mit maschinenlesbaren Markdown-Pendants auszustatten. Die Grundüberlegung ist simpel: Statt einen KI-Agenten über dutzende Unterseiten crawlen zu lassen, kann dieser mit einem einzigen HTTP-Get-Request (https://teleschmie.de/llms-full.txt) die gesamte Dokumentation in sein Kontextfenster laden.

Die Datei verzichtet auf jegliches visuelles Styling und konzentriert sich ausschließlich auf hierarchische Überschriften, semantische Listen, Code-Snippets und prägnanten Fließtext.

Diese Differenzierung macht deutlich: Die llms-full.txt ersetzt weder die klassische XML-Sitemap noch standardkonformes Robots.txt-Management. Sie fungiert vielmehr als dedizierter Schnellladekanal für autonome KI-Agenten (Business-to-Agent, B2A).

2. Token-Ökonomie: Warum KI-Agenten Markdown bevorzugen

Große Sprachmodelle verarbeiten Informationen in Tokens. Ein durchschnittliches HTML-Dokument mit 1.500 Wörtern Fließtext erzeugt aufgrund von verschachtelten Tags, CSS-Klassen und Skripten oft mehr als 8.000 Tokens an Rohdaten. Ein Scraper muss diesen Ballast entweder durch heuristisches Parsing bereinigen oder den gesamten String an das Modell übergeben, was die Inferenzkosten für den Betreiber vervielfacht.

Wird derselbe Inhalt als reines Markdown übermittelt, sinkt der Tokenbedarf oft um 60 bis 75 Prozent. Für moderne RAG-Pipelines bedeutet dies:

1. Geringere Latenz: Der Kontext wird in Sekundenbruchteilen ohne DOM-Traversal erfasst.
2. Höhere semantische Dichte: Das Modell wird nicht durch Navigationsbegriffe oder Menüpunkte verwirrt, wodurch Halluzinationen minimiert werden.
3. Präziseres Chunking: Überschriften-Hierarchien (#, ##, ###) geben dem Vector-Splitter klare Schnittgrenzen vor, was die Retrieval-Qualität spürbar verbessert.

Eine ähnliche Ressourceneffizienz lässt sich auch dynamisch über Markdown Content Negotiation erzielen, bei der bestehende URLs auf Anfrage direkt reines Markdown ausliefern.

3. Typische Praxisfehler bei der Erstellung

In der Praxis führt die unüberlegte Implementierung häufig zu negativen Begleiterscheinungen:

1. Ungefiltertes Massen-Dumping (Kitchen-Sink-Syndrom): Manche Seitenbetreiber kopieren zehntausende veraltete Blogartikel, Forenbeiträge oder AGBs in die Datei. Riesige Textmengen überschreiten Kontextfenster und führen dazu, dass Kernfakten im statistischen Rauschen untergehen.
2. Fehlende Quellen-URLs: Werden Textblöcke ohne Bezug zur Original-URL eingebunden, kann das Sprachmodell den Inhalt zwar erfassen, aber in seinen Antworten keinen klickbaren Quellverweis erzeugen. Der Referral-Traffic geht vollständig verloren.
3. Vernachlässigung des HTML-Fundaments: Der fatale Glaube, eine Textdatei mache Onpage-Optimierung überflüssig. Googlebot und Web-Crawler durchsuchen primär den regulären Webauftritt. Ohne saubere HTML-Struktur scheitert die reguläre Indexierung weiterhin.

4. Strategischer Ausblick für B2A-Sichtbarkeit

Die Datei stellt einen wichtigen Zwischenschritt in der Evolution hin zum autonomen Agenten-Web dar. Während Google AI Overviews und klassische Suchsysteme weiterhin HTML bevorzugen, greifen unternehmensinterne LLM-Agenten bevorzugt auf kuratierte Markdown-Ressourcen zurück. Eine gezielt aufgesetzte Textbasis schützt vor Fehlinterpretationen und stärkt das Deep Grounding auf einer etablierten Grounding Page.

Für die ganzheitliche Überwachung deiner Onpage-Strukturen und technischen Fehlerquellen empfiehlt sich SE Ranking (Partnerlink). Die Plattform prüft die Konsistenz deiner internen Verlinkung und Metadaten. Um zu analysieren, wie Sprachmodelle und Chatbots deine Inhalte in Antworten wiedergeben, liefert Rankscale (Partnerlink) spezialisierte Monitoring-Funktionen zur Zitationsanalyse im Bereich AI SEO.