noindex & robots.txt: Indexierung richtig steuern

Ein einzelnes noindex an der falschen Stelle kann wichtige Seiten aus Google entfernen. Eine zu restriktive robots.txt kann verhindern, dass Google wichtige Inhalte überhaupt crawlt. Und besonders kritisch: Wenn eine Seite per robots.txt blockiert ist, kann Google ein dort gesetztes noindex nicht zuverlässig sehen.

Genau deshalb bündelt RankScan die Insights „Noindexnoindex ist eine Robots-Anweisung, die Suchmaschinen mitteilt, dass eine Seite nicht in den Suchergebnissen erscheinen soll. Die Seite muss dafür crawlbar bleiben.Zum Glossareintrag →-Seiten“ und „Durch robots.txtDie robots.txt ist eine öffentlich abrufbare Textdatei im Wurzelverzeichnis einer Website. Sie teilt Crawlern mit, welche URLs sie abrufen dürfen, steuert also das Crawling.Zum Glossareintrag → blockierte Inhalte“ in der Kategorie Website Health mit Priorität Hoch.

Diese beiden Signale betreffen die technische Grundlage deiner Sichtbarkeit:

• „Noindex-Seiten“: Seiten sind für die IndexierungBei der Indexierung verarbeitet eine Suchmaschine gecrawlte Inhalte und entscheidet, ob eine URL in den Suchindex aufgenommen wird. Nur indexierte Seiten können in den Suchergebnissen erscheinen.Zum Glossareintrag → gesperrt.
• „Durch robots.txt blockierte Inhalte“: Wichtige Inhalte oder Ressourcen werden durch robots.txt vom CrawlingBeim Crawling ruft ein Suchmaschinen-Bot eine URL ab und lädt deren Inhalte herunter. Es ist der erste Schritt, bevor eine Seite indexiert werden kann.Zum Glossareintrag → ausgeschlossen.

Beides kann gewollt sein. Beides kann aber auch versehentlich passieren – besonders nach Relaunches, Staging-Freigaben, Updates des Content-Management-Systems (CMSEin Content-Management-System (CMS) ist eine Software zur Erstellung, Verwaltung und Veröffentlichung von Webinhalten, meist ohne Programmierkenntnisse. Bekannte Beispiele sind WordPress oder Shopify.Zum Glossareintrag →) oder Plugin-Änderungen.

In diesem Artikel erfährst du, wie noindex und robots.txt funktionieren, worin der Unterschied liegt, welche Fehler besonders gefährlich sind und wie du nach einem RankScan-Fund richtig vorgehst.

Crawling vs. Indexierung: Der wichtigste Unterschied #

Um noindex und robots.txt richtig einzusetzen, musst du zwei Prozesse unterscheiden.

Crawling #

Beim Crawling ruft ein Bot eine URL ab. Der Bot lädt HTMLHyperText Markup Language (HTML) ist die Auszeichnungssprache für Webseiten. Mit ihr werden Struktur und Inhalt einer Seite definiert, etwa Überschriften, Absätze, Links und Bilder.Zum Glossareintrag → (Hypertext Markup Language, die Auszeichnungssprache für Webseiten), Bilder, CSSCascading Style Sheets (CSS) ist die Sprache, mit der das Layout und die Gestaltung von Webseiten festgelegt werden. CSS bestimmt unter anderem Farben, Schriften, Abstände und Anordnung.Zum Glossareintrag → (Cascading Style Sheets, die Sprache für das Layout von Webseiten), JavaScript oder andere Ressourcen herunter.

Die robots.txt kann steuern, welche URLs ein Crawler abrufen darf.

Google beschreibt robots.txt als Datei, die Suchmaschinen-Crawlern mitteilt, welche URLs auf einer Website sie abrufen dürfen. Sie wird vor allem genutzt, um Crawler-Traffic zu steuern und Server nicht unnötig zu belasten.
Quelle: Google Search Central – robots.txt Introduction and Guide

Indexierung #

Bei der Indexierung verarbeitet Google gecrawlte Inhalte und entscheidet, ob eine URL in den Suchindex aufgenommen wird.

noindex steuert genau diesen Schritt: Die Seite darf gecrawlt werden, soll aber nicht im Suchindex erscheinen.

Google erklärt, dass noindex als Meta-Tag oder HTTPHTTP (Hypertext Transfer Protocol) ist das Protokoll, über das Browser und Server Webinhalte austauschen. HTTPS ist die verschlüsselte, sichere Variante dieses Protokolls.Zum Glossareintrag →-Header (Hypertext Transfer Protocol, das Übertragungsprotokoll des Webs) eingesetzt werden kann, um die Indexierung zu verhindern. Wichtig ist: Die Seite darf nicht per robots.txt blockiert sein, sonst kann Google die noindex-Anweisung nicht sehen.
Quelle: Google Search Central – Block Search indexing with noindex

Was bedeutet noindex? #

noindex ist eine Robots-Anweisung, die Suchmaschinen mitteilt:

Diese Seite soll nicht in den Suchergebnissen erscheinen.

Typische HTML-Umsetzung im <head>:

<meta name="robots" content="noindex, follow">

Das bedeutet:

• noindex: Seite nicht indexieren.
• follow: Links auf der Seite dürfen verfolgt werden.

follow ist dabei meist nicht zwingend nötig, wird aber häufig verwendet, um die Absicht klar zu machen.

Google dokumentiert, dass Robots-Meta-Tags und X-Robots-Tags nur gelesen werden können, wenn Crawler Zugriff auf die Seite haben.
Quelle: Google Search Central – Robots Meta Tags

Meta noindex vs. X-Robots-Tag #

Es gibt zwei wichtige Möglichkeiten, noindex zu setzen.

1. Meta-Robots-Tag im HTML #

Für normale HTML-Seiten:

<meta name="robots" content="noindex">

oder:

<meta name="robots" content="noindex, follow">

Der Tag gehört in den <head> der Seite.

2. X-Robots-Tag im HTTP-Header #

Für PDFs, Bilder, Dateien oder serverseitige Regeln kann noindex im HTTP-Header gesetzt werden:

X-Robots-Tag: noindex

Das ist besonders nützlich für:

• PDFs,
• Word-Dokumente,
• Bilder,
• Download-Dateien,
• automatisch erzeugte Dateien,
• ganze Dateitypen.

Google weist darauf hin, dass der X-Robots-Tag besonders nützlich ist, um die Indexierung von Nicht-HTML-Dateien zu steuern.
Quelle: Google Search Central – Meta tags and attributes that Google supports

Was bedeutet „Noindex-Seiten“? #

Der RankScan-Insight „Noindex-Seiten“ bedeutet: RankScan hat Seiten gefunden, die per noindex von der Indexierung ausgeschlossen sind.

Das kann korrekt sein.

Beispiele für bewusst gesetztes noindex:

• interne Suchergebnisse,
• Warenkorb,
• Checkout,
• Login,
• Dankesseiten,
• Filterseiten ohne Suchwert,
• dünne Archivseiten,
• Staging- oder Testseiten,
• interne Dokumentation,
• doppelte oder wenig hilfreiche Seiten.

Problematisch wird es, wenn wichtige Seiten betroffen sind:

• Startseite,
• Leistungsseiten,
• Produktseiten,
• Kategorieseiten,
• Ratgeberartikel,
• Standortseiten,
• Landingpages,
• Seiten in der Sitemap,
• Seiten mit organischen Rankings,
• Seiten mit Backlinks,
• Seiten mit interner Verlinkung.

Ein guter Check meldet deshalb nicht nur, dass noindex vorhanden ist, sondern bewertet, ob das für den Seitentyp sinnvoll ist.

Was bedeutet „Durch robots.txt blockierte Inhalte“? #

Der RankScan-Insight „Durch robots.txt blockierte Inhalte“ bedeutet: Die robots.txt blockiert Inhalte oder Ressourcen, die für Crawling, Rendering oder Sichtbarkeit relevant sein könnten.

Typische Beispiele:

User-agent: *
Disallow: /

oder:

User-agent: *
Disallow: /blog/

oder:

User-agent: *
Disallow: /assets/

Das kann zu Problemen führen, wenn dadurch wichtige Seiten, CSS, JavaScript, Bilder oder andere Ressourcen nicht gecrawlt werden können.

Google erklärt in den technischen Anforderungen, dass eine blockierte URL weiterhin in Suchergebnissen erscheinen kann, wenn Google sie über Links findet. Um eine Seite nicht indexieren zu lassen, soll noindex verwendet werden – und Google muss die URL crawlen können.
Quelle: Google Search Central – Technical requirements

Der kritische Fehler: robots.txt blockiert noindex #

Das häufigste Missverständnis:

User-agent: *
Disallow: /alte-seite/

und gleichzeitig auf der Seite:

<meta name="robots" content="noindex">

Das wirkt auf den ersten Blick doppelt sicher. Tatsächlich ist es widersprüchlich.

Wenn Google die Seite wegen robots.txt nicht crawlen darf, kann Google den noindex-Tag auf der Seite nicht sehen. Die URL kann trotzdem in den Suchergebnissen erscheinen, etwa wenn andere Seiten darauf verlinken.

Google sagt ausdrücklich: Damit noindex wirksam wird, darf die Seite nicht durch robots.txt blockiert sein und muss für den Crawler zugänglich sein.
Quelle: Google Search Central – Block Search indexing with noindex

Die Regel lautet:

Wenn eine Seite aus dem Index soll: crawlbar lassen und noindex setzen.

robots.txt ist kein Sicherheitsschutz #

Die robots.txt ist öffentlich abrufbar:

https://example.ch/robots.txt

Sie ist kein Passwortschutz und keine Zugriffskontrolle.

Nicht geeignet für:

• vertrauliche Dokumente,
• Kundendaten,
• interne Dateien,
• Staging-Inhalte,
• private PDFs,
• Admin-Bereiche mit sensiblen Informationen.

Für sensible Inhalte brauchst du:

• Login,
• Passwortschutz,
• HTTP Auth,
• serverseitige Zugriffskontrolle,
• VPN (Virtual Private Network),
• IP-Beschränkung,
• sichere Rollen- und Rechteverwaltung.

Robots.txt basiert auf Kooperation. Seriöse Crawler halten sich daran, aber sie schützt Inhalte nicht vor direktem Zugriff.

noindex, nofollow, index follow: Was bedeutet was? #

Die Begriffe werden oft verwechselt.

In der Praxis ist noindex, follow häufig sinnvoller als noindex, nofollow, wenn die Seite zwar nicht indexiert werden soll, aber interne LinksInterne Verlinkung bezeichnet Links, die Seiten innerhalb derselben Website miteinander verbinden. Sie steuern, wie Suchmaschinen und Nutzer Inhalte finden und thematisch einordnen.Zum Glossareintrag → weiterhin für Crawling und Orientierung nützlich sind.

Google weist in einem älteren Blogbeitrag darauf hin, mehrere Robots-Werte möglichst in einem Meta-Tag zu kombinieren, um Konflikte zu vermeiden.
Quelle: Google Search Central Blog – Using the robots meta tag

noindex in robots.txt? Nicht verwenden #

Manchmal sieht man Regeln wie:

User-agent: *
Noindex: /intern/

Das ist keine zuverlässige Google-Regel.

Google hat 2019 klargestellt, dass nicht unterstützte robots.txt-Regeln wie noindex, nofollow und crawl-delay nicht weiter als inoffizielle Regeln unterstützt werden.
Quelle: Google Search Central Blog – A note on unsupported rules in robots.txt

Wenn du Indexierung verhindern willst, nutze:

<meta name="robots" content="noindex">

oder:

X-Robots-Tag: noindex

Nicht:

Noindex: /pfad/

robots.txt richtig einsetzen #

Die robots.txt ist sinnvoll, wenn du Crawling steuern willst.

Beispiel:

User-agent: *
Disallow: /admin/
Disallow: /warenkorb/
Disallow: /checkout/
Disallow: /suche/

Sitemap: https://example.ch/sitemap.xml

Typische sinnvolle Einsätze:

• technische Bereiche vom Crawling ausschliessen,
• interne Suchergebnisse reduzieren,
• unwichtige Parameterbereiche steuern,
• Serverlast reduzieren,
• bestimmte Bots steuern,
• Crawler für Künstliche Intelligenz (KI) gezielt erlauben oder blockieren,
• Sitemaps referenzieren.

Wichtig: Blockiere nicht pauschal CSS- oder JavaScript-Dateien, wenn Google sie zum RenderingJavaScript-Rendering bezeichnet den Vorgang, bei dem ein Browser oder Crawler JavaScript-Code ausführt, um daraus die fertige, sichtbare Seite zu erzeugen. Erst nach diesem Schritt entstehen Inhalte, die nicht bereits im ausgelieferten HTML stehen.Zum Glossareintrag → braucht.

Wann noindex, robots.txt, Canonical oder Redirect? #

Diese Werkzeuge haben unterschiedliche Aufgaben.

Priorisierung: Welche Fälle sind wirklich kritisch? #

Nicht jeder noindex- oder robots.txt-Fund hat dieselbe Relevanz.

Die wichtigste Regel:

Zuerst prüfen, ob indexierbare, wichtige, intern verlinkte oder sitemap-relevante Seiten betroffen sind.

Content-Fehler oder Template-Fehler? #

Ein guter Check unterscheidet, ob ein Fehler einzelne Seiten oder ganze Seitentypen betrifft.

Einzelproblem #

Beispiele:

• eine Landingpage wurde versehentlich auf noindex gesetzt,
• ein einzelner Artikel hat eine falsche Einstellung in der Suchmaschinenoptimierung (SEO)Suchmaschinenoptimierung (SEO) umfasst alle Maßnahmen, mit denen eine Website in den unbezahlten (organischen) Suchergebnissen besser sichtbar wird.Zum Glossareintrag →,
• eine alte Kampagnenseite ist blockiert,
• ein einzelnes PDF hat falschen Header.

Lösung: Seite oder Datei korrigieren.

Template- oder Systemproblem #

Beispiele:

• alle Blogartikel sind noindex,
• Kategorieseiten erben Staging-Einstellung,
• robots.txt blockiert ganzes Verzeichnis,
• SEO-Plugin setzt global noindex,
• Shop-Filter sind pauschal falsch blockiert,
• Head-Template gibt falsche Meta-Robots aus,
• CDNEin Content Delivery Network (CDN) ist ein Netzwerk verteilter Server, das statische Inhalte näher beim Nutzer ausliefert und so Ladezeiten verkürzt.Zum Glossareintrag → (Content Delivery Network, ein Netzwerk verteilter Server zur schnelleren Auslieferung) oder WAF (Web Application Firewall) blockiert relevante Bots.

Lösung: Template, CMS-Konfiguration, Plugin, Deployment-Prozess oder Infrastruktur korrigieren.

Systemfehler haben meist höhere Priorität, weil sie viele URLs betreffen.

Typische Ursachen für noindex-Fehler #

1. Staging-Einstellungen wurden übernommen #

Während der Entwicklung ist noindex korrekt. Auf der Live-Site ist es fatal.

Häufige Ursache:

• WordPress-Schalter „Suchmaschinen davon abhalten“,
• Umgebungsvariable falsch gesetzt,
• SEO-Plugin aus Staging übernommen,
• Robots-Regeln nicht angepasst.

2. CMS- oder SEO-Plugin falsch konfiguriert #

Ein Plugin kann ganze Inhaltstypen auf noindex setzen:

• Kategorien,
• Tags,
• Autorenseiten,
• Produktarchive,
• Custom Post Types,
• Suchseiten.

3. Template gibt falsche Robots-Meta-Tags aus #

Beispiel:

<meta name="robots" content="noindex">

steht im globalen Head und wird dadurch auf allen Seiten ausgegeben.

4. Canonical/noindex-Konflikte #

Eine Seite wird per Canonical als Hauptversion genannt, ist aber gleichzeitig noindex. Das ist widersprüchlich.

5. JavaScript oder Tag Manager setzt Meta-Robots #

Meta-Robots sollten nicht unkontrolliert clientseitig erzeugt oder verändert werden. Für Suchmaschinen muss die Anweisung zuverlässig erkennbar sein.

Typische Ursachen für robots.txt-Fehler #

1. Pauschales Disallow aus Staging #

User-agent: *
Disallow: /

Auf Staging sinnvoll. Auf Produktion kritisch.

2. Falsches Verzeichnis blockiert #

Disallow: /blog/

wenn der Blog indexiert werden soll.

3. Assets blockiert #

Disallow: /assets/
Disallow: /js/
Disallow: /css/

Das kann Rendering und Qualitätsbewertung erschweren.

4. Parameter zu grob blockiert #

Manchmal werden Filter- oder Parameterseiten so breit blockiert, dass wichtige Landingpages betroffen sind.

5. Crawler-spezifische Regeln falsch gesetzt #

Beispiel:

User-agent: Googlebot
Disallow: /

Das blockiert Google direkt und ist auf einer Live-Site meistens fatal.

noindex und robots.txt bei KI-Crawlern #

Die robots.txt steuert nicht nur GooglebotDer Googlebot ist der Webcrawler von Google, der Webseiten abruft, um sie für die Google-Suche zu crawlen und zu indexieren.Zum Glossareintrag →, sondern kann auch KI-Crawler betreffen.

Beispiele für KI-User-Agents:

• GPTBotGPTBot ist der von OpenAI dokumentierte Crawler, der typischerweise für das Training künftiger Modelle Inhalte abruft. Er lässt sich über robots.txt gezielt erlauben oder blockieren.Zum Glossareintrag →,
• OAI-SearchBotOAI-SearchBot ist der von OpenAI dokumentierte Crawler für ChatGPT Search. Er ruft Inhalte ab, damit öffentliche Websites als Quelle in ChatGPT-Zusammenfassungen, Snippets und Antworten erscheinen können.Zum Glossareintrag →,
• ChatGPT-UserChatGPT-User ist der von OpenAI dokumentierte User-Agent für nutzerinitiierte Abrufe. Er ruft eine Seite ab, wenn ein Nutzer in ChatGPT eine konkrete URL oder Anfrage eingibt.Zum Glossareintrag →,
• ClaudeBotClaudeBot ist der von Anthropic genutzte Web-Crawler. Website-Betreiber können seinen Zugriff über die robots.txt steuern und bei Bedarf blockieren.Zum Glossareintrag →,
• PerplexityBotPerplexityBot ist der von Perplexity dokumentierte Crawler, der Websites in Perplexity-Suchergebnissen sichtbar machen und als Quelle verlinken soll. Laut Perplexity wird er nicht für das Training von Foundation Models genutzt.Zum Glossareintrag →,
• Google-ExtendedGoogle-Extended ist ein Produkt-Token, mit dem sich bestimmte KI-Nutzungen durch Google in der robots.txt steuern lassen. Es ist kein eigener HTTP-User-Agent und nicht mit dem Googlebot identisch.Zum Glossareintrag →.

Wenn du KI-Crawler pauschal blockierst, kann das Auswirkungen auf AI Visibility haben. Gleichzeitig kann es strategisch sinnvoll sein, Training zu begrenzen und Live-Abruf zu erlauben.

Das Thema gehört eng zum Artikel KI-Crawler steuern: robots.txt & llms.txtllms.txt ist eine freiwillige Markdown-Datei im Root-Verzeichnis einer Website, die Sprachmodellen eine kompakte Übersicht über wichtige Inhalte gibt. Sie ist ein Vorschlag bzw. De-facto-Format, kein verbindlicher offizieller Webstandard.Zum Glossareintrag →.

Wichtig für diesen Artikel:

• robots.txt steuert Crawling.
• noindex steuert klassische Suchindexierung.
• KI-Crawler können durch robots.txt blockiert werden.
• Eine Blockade von KI-Crawlern ist nicht automatisch schlecht, sollte aber bewusst erfolgen.
• Der normale Googlebot sollte nicht versehentlich blockiert werden, wenn klassische Google-Sichtbarkeit erhalten bleiben soll.

Was tun nach einem RankScan-Fund? #

Wenn RankScan „Noindex-Seiten“ oder „Durch robots.txt blockierte Inhalte“ meldet, solltest du strukturiert vorgehen.

Schritt 1: Betroffene URLs gruppieren #

Prüfe:

• einzelne URLs,
• Seitentypen,
• Verzeichnisse,
• Templates,
• Sitemaps,
• Produktbereiche,
• Blogbereiche,
• Staging-/Testpfade,
• Assets.

Schritt 2: Indexierungsziel bestimmen #

Für jede Gruppe fragen:

Soll diese URL in Google erscheinen?
Soll diese URL gecrawlt werden?
Soll diese URL nur für Nutzer erreichbar sein?
Soll diese URL geschützt werden?

Erst danach entscheidest du über noindex, robots.txt, Canonical, Redirect oder Login.

Schritt 3: Widersprüche erkennen #

Achte auf Kombinationen wie:

Schritt 4: Ursache beheben #

Typische Massnahmen:

• noindex von wichtigen Seiten entfernen,
• robots.txt-Regeln präzisieren,
• Staging-Regeln aus Produktion entfernen,
• Sitemap bereinigen,
• noindex-Seiten aus Sitemap entfernen,
• CSS/JS wieder crawlbar machen,
• Canonical/noindex-Konflikte lösen,
• SEO-Plugin-Konfiguration prüfen,
• Template korrigieren,
• WAF/CDN-Bot-Regeln prüfen.

Schritt 5: In Google Search Console prüfen #

Nutze:

• URL-Prüftool,
• Seitenindexierung,
• Crawling-Statistiken,
• robots.txt-Test,
• Live-Test,
• Sitemap-Bericht.

Google Search Console zeigt unter anderem, ob eine URL durch noindex ausgeschlossen ist oder ob Crawling durch robots.txt blockiert wird.

Schritt 6: Nach dem Fix erneut crawlen #

Prüfe nach der Korrektur:

• Ist noindex auf wichtigen Seiten entfernt?
• Sind noindex-Seiten aus der Sitemap entfernt?
• Ist robots.txt nicht mehr zu restriktiv?
• Sind CSS/JS erreichbar?
• Sind wichtige URLs indexierbar?
• Gibt es weiterhin blockierte Inhalte?
• Wurde Google zur erneuten Prüfung angestossen?

Worauf ein guter Indexierungs-Check achtet #

Ein guter Indexierungscheck sollte mehr leisten als nur „noindex gefunden“.

Ein guter Check prüft:

• Seiten mit noindex,
• wichtige Seiten mit noindex,
• noindex-Seiten in Sitemap,
• noindex auf kanonischen URLs,
• Canonical auf noindex-Ziel,
• robots.txt blockiert wichtige Inhalte,
• robots.txt blockiert ganze Verzeichnisse,
• robots.txt blockiert CSS/JS,
• Disallow: / auf Live-Site,
• Googlebot-spezifische Blockaden,
• KI-Crawler-Blockaden,
• noindex im Meta-Tag,
• noindex im X-Robots-Tag,
• widersprüchliche Robots-Meta-Tags,
• robots.txt + noindex-Konflikte,
• Statuscode und Indexierbarkeit,
• mobile/desktop Unterschiede,
• Template- oder CMS-Muster.

So werden „Noindex-Seiten“ und „Durch robots.txt blockierte Inhalte“ zu konkreten Website-Health-Aufgaben.

Beispiel: Unsichtbarer Relaunch durch noindex #

Ausgangslage #

Eine Website wird auf einem Staging-System vorbereitet. Dort ist korrekt gesetzt:

<meta name="robots" content="noindex, nofollow">

Nach dem Livegang bleibt diese Einstellung aktiv.

RankScan meldet:

„Noindex-Seiten“
„Durch robots.txt blockierte Inhalte“
„Sinkende Rankings“

Analyse #

• wichtige Leistungsseiten sind noindex,
• mehrere URLs stehen trotzdem in der Sitemap,
• die robots.txt enthält noch Disallow: /staging-assets/,
• einige JS-Dateien sind blockiert.

Lösung #

1. noindex von produktiven Seiten entfernen.
2. SEO-Plugin-Konfiguration korrigieren.
3. Sitemap neu generieren.
4. robots.txt bereinigen.
5. CSS/JS freigeben.
6. Staging künftig per HTTP Auth schützen.
7. Google Search Console URL-Prüfung nutzen.
8. RankScan erneut crawlen.

Ergebnis #

Die Seiten sind wieder crawlbar und indexierbar. Der Fehler war kein Content-Problem, sondern ein technischer Deployment-Fehler.

Häufige Fehler #

Fehler 1: robots.txt als Indexierungsschutz verwenden #

Disallow verhindert Crawling, nicht zuverlässig Indexierung.

Fehler 2: noindex und robots.txt kombinieren #

Wenn Google eine Seite nicht crawlen darf, kann Google noindex nicht sehen.

Fehler 3: Live-Site mit Staging-Regeln veröffentlichen #

Disallow: / oder globales noindex gehören nicht auf die produktive Website.

Fehler 4: noindex-Seiten in der Sitemap lassen #

Die Sitemap sollte nur URLs enthalten, die indexiert werden sollen.

Fehler 5: CSS und JavaScript blockieren #

Google muss Seiten rendern können. Wichtige Ressourcen sollten crawlbar sein.

Fehler 6: nofollow unnötig verwenden #

nofollow auf internen Seiten kann interne Linksignale und Crawling unnötig schwächen.

Fehler 7: robots.txt für sensible Daten nutzen #

Robots.txt ist öffentlich. Schutz braucht Authentifizierung oder serverseitige Sperren.

Checkliste: noindex und robots.txt prüfen #

Nutze diese Checkliste:

• Gibt es wichtige Seiten mit noindex?
• Gibt es noindex-Seiten in der Sitemap?
• Gibt es Disallow: / auf der Live-Site?
• Blockiert robots.txt wichtige Verzeichnisse?
• Blockiert robots.txt CSS, JS oder Bilder?
• Sind wichtige Seiten crawlbar?
• Sind Seiten, die aus dem Index sollen, crawlbar und noindex?
• Gibt es Canonical/noindex-Konflikte?
• Gibt es mehrere widersprüchliche Robots-Meta-Tags?
• Werden X-Robots-Tags auf PDFs korrekt gesetzt?
• Sind Staging-Seiten per Auth geschützt?
• Wurden SEO-Plugin- und CMS-Einstellungen geprüft?
• Wurde in der Google Search Console getestet?
• Wurde nach dem Fix erneut gecrawlt?

Ergänzend dazu helfen 404-Fehler, um die Ursache sauber einzugrenzen und die nächsten SEO-Massnahmen zu priorisieren.

Fazit: Crawling und Indexierung sauber trennen #

noindex und robots.txt sind keine austauschbaren Werkzeuge. Wer sie verwechselt, riskiert, wichtige Seiten aus Google zu entfernen oder Google daran zu hindern, entscheidende Signale überhaupt zu lesen.

Die wichtigste Regel lautet:

robots.txt steuert Crawling. noindex steuert Indexierung.

Für RankScan sind die Insights „Noindex-Seiten“ und „Durch robots.txt blockierte Inhalte“ deshalb High-Priority-Signale. Nicht, weil jede noindex-Seite falsch ist. Sondern weil versehentliche Sperren sofort Sichtbarkeit kosten können.

Die beste Vorgehensweise lautet:

1. betroffene URLs gruppieren,
2. Indexierungsziel bestimmen,
3. noindex- und robots.txt-Regeln prüfen,
4. Widersprüche erkennen,
5. wichtige Seiten freigeben,
6. unwichtige Seiten bewusst steuern,
7. Sitemaps, Canonicals und interne Links abgleichen,
8. in der Google Search Console testen,
9. nach dem Fix erneut crawlen.

So wird Indexierungssteuerung nicht zum Risiko, sondern zu einem kontrollierten Teil deiner Website-Health-Strategie.

Quellen und weiterführende Informationen #

• Google Search Central – Block Search indexing with noindex
• Google Search Central – Robots Meta Tags
• Google Search Central – robots.txt Introduction and Guide
• Google Search Central – Technical requirements
• Google Search Central – Meta tags and attributes that Google supports
• Google Search Central Blog – A note on unsupported rules in robots.txt
• Google Search Central Blog – Using the robots meta tag