Noindex: Seiten gezielt von der KI ausschließen

Im gesamten Werkzeugkasten des Technischen SEO gibt es keinen kleineren Code-Schnipsel mit einer größeren Sprengkraft als das Wort noindex. Sieben Buchstaben im HTML-Header entscheiden darüber, ob deine Seite bei Google, Bing und in modernen KI-Antwortmaschinen stattfindet – oder ob sie komplett aus dem gedächtnis des Internets gelöscht wird.

Auf der einen Seite brauchen wir noindex jeden Tag als chirurgisches Aufräum-Werkzeug, um wertlosen Ballast (wie Formular-Dankesseiten, interne Suchergebnisse oder dünne Tag-Archive) aus dem Index zu halten und unseren Sichtbarkeitsindex auf die wirklich geldwerten Seiten zu konzentrieren. Auf der anderen Seite erlebe ich in meinen Audits fast jede Woche, wie sich Unternehmen mit einem versehentlichen noindex-Befehl selbst ins Knie schießen.

Jörg Zimmer

Senior SEO & AI Search Consultant

„Ich sage immer, an erster Stelle kommt die technische Indexierbarkeit. Weil ohne saubere technische Indexierung optimierst du vielleicht Unterseiten ohne jeglichen Einfluss. Es passiert viel öfters als man denkt, dass Google nicht alle oder die falschen Seiten deiner Domain kennt.“

Zwei echte Geschichten aus meiner Praxis: Wie noindex ganze Websites unsichtbar macht

Wenn ich im Podcast erzähle, dass „nicht indexiert“ der häufigste technische SEO-Fehler überhaupt ist, glauben viele erst mal, ich übertreibe. Deshalb hier zwei Fälle direkt aus meinem Alltag in Berlin:

1. Die verschwundene Grundschule meiner beiden Töchter

Vor einiger Zeit hatte die Schule meiner beiden Töchter eine schicke neue Website bekommen. Alle waren stolz auf das neue Design – nur leider fand man die Schule bei Google überhaupt nicht mehr. Selbst wenn man den exakten Namen der Schule eingetippt hat, tauchten nur irgendwelche alten Behördenverzeichnisse auf, aber nicht die eigene Website. Ich habe mir die Seite kurz angeschaut, auf „Seitenquelltext anzeigen“ geklickt und musste schmunzeln: Oben im Header stand dick und fett <meta name="robots" content="noindex, nofollow" />. Was war passiert? Die Webdesign-Agentur hatte während der Bauzeit in WordPress unter Einstellungen → Lesen den berühmten Haken bei „Suchmaschinen davon abhalten, diese Website zu indexieren“ gesetzt. Als die Seite fertig war, wurde zwar groß gefeiert, aber niemand hat den Haken wieder rausgenommen! Wir haben den Haken entfernt, die Seite in der Google Search Console angestoßen – und wenige Tage später stand die Schule wieder auf Platz 1.

2. Das Portal mit den unsichtbaren Berater-Profilen

Noch tückischer war ein Fall bei einem größeren Beratungsportal: Die Startseite und der Blog rankten wunderbar, aber ausgerechnet die detaillierten Steckbriefe der einzelnen Berater – also die Seiten, über die die eigentlichen Kundenanfragen reinkommen sollten – waren bei Google komplett unauffindbar. Als wir gemeinsam in den Maschinenraum geschaut haben, lag der Fehler im SEO-Plugin: Die Entwickler hatten die Berater-Profile technisch über die Standard-Autorenfunktion des CMS angelegt. Und im SEO-Plugin war (aus Angst vor Duplicate Content bei Ein-Mann-Blogs) standardmäßig eingestellt: „Alle Autoren-Archive auf noindex setzen!“ Ein falsch gesetzter Schalter im Plugin hatte das wichtigste Verkaufsargument der gesamten Plattform aus Google ausradiert.

Jörg Zimmer

Senior SEO & AI Search Consultant

💬 LinkedIn O-Ton

Aus einer LinkedIn-Diskussion zu den häufigsten technischen SEO-Fehlern:

„🧰 Der üblichste technische Fehler ist tatsächlich “nicht indexiert”. Manchmal ungewollt per noindex ausgeschlossen und manchmal gecrawelt nicht indexiert. Klingt verrückt“

Die tödliche Zombie-Falle: Warum du robots.txt und noindex niemals mischen darfst

Um noindex richtig einzusetzen, musst du den Unterschied zwischen Crawling vs. Indexing verinnerlichen:

• Die Datei robots.txt regelt das Hausrecht an der Grundstücksgrenze (Crawling: Darf der Bot das Haus überhaupt betreten?).
• Das noindex-Tag hängt als Zettel drinnen im Flur (Indexierung: Darf der Bot das, was er im Haus gesehen hat, im Index speichern?).

Was passiert jetzt, wenn ein übereifriger Entwickler eine URL aus Google löschen will und deshalb beides gleichzeitig macht – also im HTML <meta name="robots" content="noindex"> einträgt UND den Ordner in der robots.txt per Disallow sperrt?

graph TD
    A["Crawler entdeckt URL"] --> B{"robots.txt Disallow aktiv?"}
    B -- "Ja" --> C["Crawler betritt Seite NICHT"]
    C --> D["noindex-Zettel im HTML wird NIEMALS gelesen"]
    D --> E["Ergebnis: URL bleibt als Index-Zombie bei Google!"]
    B -- "Nein" --> F["Crawler ruft HTML ab"]
    F --> G["noindex-Tag wird erkannt"]
    G --> H["Ergebnis: URL wird sauber aus dem Index gelöscht"]

Weil du dem Googlebot an der Grundstücksgrenze (robots.txt) das Betreten verboten hast, kommt er niemals bis in den Flur und sieht deinen noindex-Zettel überhaupt nicht! Wenn irgendwo im Netz noch ein Link auf diese URL zeigt, behält Google sie als sogenannten Index-Zombie in den Suchergebnissen (und meldet in der Search Console: „Indexiert, obwohl durch robots.txt blockiert“).

Die goldene Handwerksregel lautet deshalb: Wenn eine Seite per noindex aus dem Suchindex verschwinden soll, muss sie in der robots.txt zwingend für den Crawler offen bleiben!

Die 4 Steuerungsmethoden im direkten Vergleich

Je nachdem, ob du eine normale Webseite, ein PDF-Dokument oder eine Parameter-URL vor dir hast, wählst du das passende Werkzeug:

Achte bei Server-Regeln für das X-Robots-Tag immer darauf, dass deine URLs sauber mit konsistenten Trailing Slashes aufgelöst werden, damit die Header-Regel nicht durch eine vorherige Weiterleitung verpufft.

Regelmäßige Kontrolle schützt vor bösen Überraschungen

Verlass dich nach einem Update oder Relaunch niemals blind darauf, dass schon alles passen wird. Um versehentliche noindex-Tags oder Sitemap-Konflikte sofort zu erwischen, lasse ich meine Projekte regelmäßig automatisiert über SE Ranking (Partnerlink) überwachen. Was dich ein solches Monitoring-Setup im Monat kostet, kannst du dir vorab transparent in meinem SEO-Tool Kostenrechner ausrechnen – oder wir schauen uns deine Search Console direkt gemeinsam in meiner SEO-Sprechstunde an.