Noindex: Seiten radikal von der KI-Suche ausschließen

Moin! 🌻

Wenn es im gesamten Arsenal des Technical SEO einen einzigen Befehl gibt, der das Schicksal eines Enterprise-Shops oder SaaS-Startups in Millisekunden besiegeln kann, dann ist es dieses kleine HTML-Tag: <meta name="robots" content="noindex">.

Wir schreiben das Jahr 2026. Das Internet ertrinkt in KI-generiertem Müll und die Suchmaschinen (allen voran Google, aber auch RAG-Systeme wie Perplexity) haben ihre Architektur radikal umgestellt. Sie indexieren nicht mehr einfach jede Seite, die sie finden. Sie bewerten, filtern und sortieren hart aus. Wenn du deine Architektur nicht im Griff hast, zerschießt du dir deine Sichtbarkeit.

Warum “Noindex” 2026 überlebenswichtig ist

Es geht nicht mehr nur um klassische Google-Rankings. Es geht um Vektor-Hygiene im Latent Space der Large Language Models (LLMs). Wenn KI-Bots wie der GPTBot deine Seite crawlen, ziehen sie alles in ihre Trainingsdaten oder ihren RAG-Kontext. Wenn sie dabei auf hunderte leere Paginierungs-Seiten, veraltete AGBs von 2019 oder kaputte Filter-URLs stoßen, verwässert das dein Entitäts-Profil extrem. Die Maschine lernt: Diese Domain besteht zu 80 % aus irrelevantem Rauschen.

Du willst aber das genaue Gegenteil: Eine extrem dichte, hochrelevante Entität sein. Alles, was keinen harten Signalwert für dein Kernthema hat, MUSS aus dem Index fliegen. Das Noindex-Tag sagt dem Crawler unmissverständlich: “Ich befehle dir hiermit, diese URL sofort aus deinem Index und deinen Datenbanken zu werfen!”

Die Noindex vs. Robots.txt Falle: Der Endgegner

Hier bricht selbst Senior-Developern oft der Schweiß aus. Es ist der häufigste und fatalste Fehler im Technical SEO: Die tödliche Kombination aus einem noindex-Tag und einer Disallow-Regel in der robots.txt.

Die goldene, unverhandelbare Regel: Blockiere niemals eine URL per robots.txt, wenn du sie aktiv deindexieren willst!

Warum? Weil die robots.txt das Crawling verbietet. Das noindex-Tag regelt das Indexing. Wenn du dem Googlebot in der robots.txt verbietest, die URL /danke/ zu betreten, bleibt er vor der Tür stehen. Das bedeutet aber auch: Er kann dein sauber gesetztes <meta name="robots" content="noindex"> im Quellcode überhaupt nicht lesen! Er weiß nicht, dass er die Seite aus dem Index werfen soll. Die Seite bleibt als “Zombie-URL” (oft ohne Description) dauerhaft in den Suchergebnissen hängen, weil andere Seiten darauf verlinken.

Die Lösung: Crawling erlauben, Indexierung verbieten. Der Crawler betritt die Seite, liest den Befehl und löscht die URL sauber aus seinem Speicher.

Diese URLs MÜSSEN auf noindex

1. Dankesseiten (Thank-You Pages): Wenn Nutzer diese Seiten über Google finden, zerschießt das dein Analytics und Conversion-Tracking völlig.
2. Rechtlicher Pflicht-Content: AGB, Impressum, Datenschutz. Niemand sucht bei Google nach deinen AGBs, um etwas bei dir zu kaufen. Sie ziehen die semantische Relevanz deiner Domain nach unten.
3. Interne Suchergebnisseiten: Ein absolutes No-Go! Wer interne Such-URLs indexieren lässt, generiert Millionen von Thin-Content-Seiten.
4. Staging-Umgebungen: Wenn dein Entwickler-Server ohne Passwortschutz online geht, MUSS er global auf noindex stehen (am besten über HTTP-Header). Vergiss aber nicht, das Tag beim Live-Gang zu entfernen!
5. Thin Content & Tag-Friedhöfe: Veraltete News oder leere Tag-Seiten in CMS-Systemen sind Index-Ballast. Raus damit!

Implementierung 2026: HTML vs. HTTP-Header

Für Standard-Websites nutzt du das HTML-Tag:

<meta name="robots" content="noindex">

Was aber mit PDFs, Bildern oder APIs, die kein HTML-Dokument haben? Hier nutzt du den X-Robots-Tag als HTTP-Header:

X-Robots-Tag: noindex

Dieser Befehl wird vom Server (Nginx, Apache) direkt bei der Auslieferung gesendet. Für KI-Crawler ist das extrem effizient, da sie die Datei nicht einmal parsen müssen, um den Befehl zu verstehen.

Wichtig: Verwechsle das nicht mit dem Aussperren von AI-Bots für das Training! Wenn du nicht willst, dass OpenAI deine Inhalte für das Modelltraining nutzt, sperrst du den GPTBot über die robots.txt. Das noindex-Tag ist dafür nicht da. Es regelt nur die Aufnahme in den Suchindex, nicht das Data-Scraping für Trainingszwecke.

Der Linkjuice-Trick: noindex, follow

Gibt eine Seite, die auf noindex steht, eigentlich noch Rankingpower (Pagerank/Linkjuice) weiter? Ja, wenn du es dem Bot erlaubst:

<meta name="robots" content="noindex, follow">

So befiehlst du der Maschine: “Schmeiß diese Seite aus dem Index, aber folge gefälligst allen Links auf dieser Seite und verteile die Autorität weiter.” Ideal für Paginierungs-Seiten oder Kategorie-Übersichten, die selbst nicht ranken sollen, aber auf tiefe, wichtige Artikel verweisen.

Mein Tacheles-Rat

In 2026 ist das Crawl-Budget der KIs knapp. Sprachmodelle brechen ab, wenn sie zu viel Müll finden. Nutze noindex wie einen Türsteher für den VIP-Bereich deines Codes. Nur die besten, relevantesten Seiten kommen in den Index. Den Rest sperrst du gnadenlos aus. Das ist echte Vektor-Hygiene.

ALOHA! 🌻✌️

Verwandte Themen & Deep Dives

• Crawling vs. Indexing radikal verstehen
• Warum die robots.txt alleine nicht schützt
• Das Canonical Tag: Dein technisches Schutzschild
• Trailing Slashes für fehlerfreies Routing