noindex & robots.txt: Indexierung richtig steuern

Ein einzelnes noindex an der falschen Stelle kann wichtige Seiten aus Google entfernen. Eine zu restriktive robots.txt kann verhindern, dass Google wichtige Inhalte überhaupt crawlt. Und besonders kritisch: Wenn eine Seite per robots.txt blockiert ist, kann Google ein dort gesetztes noindex nicht zuverlässig sehen.

RankScan kennt dazu zwei Massnahmen in der Kategorie Website Health:

• «Inhaltsseiten von der IndexierungBei der Indexierung verarbeitet eine Suchmaschine gecrawlte Inhalte und entscheidet, ob eine URL in den Suchindex aufgenommen wird. Nur indexierte Seiten können in den Suchergebnissen erscheinen.Zum Glossareintrag → ausgeschlossen»: Inhaltsseiten tragen ein noindex, im Meta-Robots-TagDer Meta-Robots-Tag ist ein HTML-Element im <head> einer Seite, das Suchmaschinen Anweisungen zur Indexierung und Linkverfolgung gibt, etwa noindex oder nofollow.Zum Glossareintrag → oder im X-Robots-TagDer X-Robots-Tag ist eine Robots-Anweisung im HTTP-Header. Er ermöglicht es, Indexierungsregeln wie noindex auch für Nicht-HTML-Dateien wie PDFs oder Bilder zu setzen.Zum Glossareintrag →.
• «Seiten für Crawler gesperrt»: Seiten antworten mit HTTPHTTP (Hypertext Transfer Protocol) ist das Protokoll, über das Browser und Server Webinhalte austauschen. HTTPS ist die verschlüsselte, sichere Variante dieses Protokolls.Zum Glossareintrag → 401 oder 403. Der Server verlangt eine Anmeldung oder verweigert den Zugriff.

Beide Massnahmen haben in RankScan eine niedrige Schwere. Der Grund: Oft ist die Sperre gewollt, etwa bei Login- oder Kontoseiten. Prüfe deshalb zuerst, ob eine Systemseite betroffen ist.

Wichtig: Keine der beiden Massnahmen misst die robots.txt. Was dieser Artikel über die robots.txtDie robots.txt ist eine öffentlich abrufbare Textdatei im Wurzelverzeichnis einer Website. Sie teilt Crawlern mit, welche URLs sie abrufen dürfen, steuert also das Crawling.Zum Glossareintrag → erklärt, ist allgemeines FachwissenExpertise bezeichnet die fachliche Kompetenz hinter einem Inhalt. Sie ist das zweite E in E-E-A-T und sollte über sichtbare Autorenangaben und Belege erkennbar sein.Zum Glossareintrag →. Es hilft dir bei der Ursachensuche, ist aber keine RankScan-Massnahme.

noindex, robots.txt und Zugriffssperren können versehentlich entstehen, besonders nach Relaunches, Staging-Freigaben, Updates des Content-Management-Systems (CMSEin Content-Management-System (CMS) ist eine Software zur Erstellung, Verwaltung und Veröffentlichung von Webinhalten, meist ohne Programmierkenntnisse. Bekannte Beispiele sind WordPress oder Shopify.Zum Glossareintrag →) oder Plugin-Änderungen.

In diesem Artikel erfährst du, wie noindex, robots.txt und Zugriffssperren funktionieren, worin der Unterschied liegt, welche Fehler besonders gefährlich sind und wie du bei beiden RankScan-Massnahmen vorgehst.

Crawling vs. Indexierung: Der wichtigste Unterschied #

Um noindex und robots.txt richtig einzusetzen, musst du zwei Prozesse unterscheiden.

Crawling #

Beim Crawling ruft ein Bot eine URL ab. Der Bot lädt HTMLHyperText Markup Language (HTML) ist die Auszeichnungssprache für Webseiten. Mit ihr werden Struktur und Inhalt einer Seite definiert, etwa Überschriften, Absätze, Links und Bilder.Zum Glossareintrag → (Hypertext Markup Language, die Auszeichnungssprache für Webseiten), Bilder, CSSCascading Style Sheets (CSS) ist die Sprache, mit der das Layout und die Gestaltung von Webseiten festgelegt werden. CSS bestimmt unter anderem Farben, Schriften, Abstände und Anordnung.Zum Glossareintrag → (Cascading Style Sheets, die Sprache für das Layout von Webseiten), JavaScript oder andere Ressourcen herunter.

Die robots.txt kann steuern, welche URLs ein Crawler abrufen darf.

Google beschreibt robots.txt als Datei, die Suchmaschinen-Crawlern mitteilt, welche URLs auf einer Website sie abrufen dürfen. Sie wird vor allem genutzt, um Crawler-Traffic zu steuern und Server nicht unnötig zu belasten.
Quelle: Google Search Central: robots.txt Introduction and Guide

Indexierung #

Bei der Indexierung verarbeitet Google gecrawlte Inhalte und entscheidet, ob eine URL in den Suchindex aufgenommen wird.

noindex steuert genau diesen Schritt: Die Seite darf gecrawlt werden, soll aber nicht im Suchindex erscheinen.

Google erklärt, dass noindex als Meta-Tag oder HTTP-Header (Hypertext Transfer Protocol, das Übertragungsprotokoll des Webs) eingesetzt werden kann, um die Indexierung zu verhindern. Wichtig ist: Die Seite darf nicht per robots.txt blockiert sein, sonst kann Google die noindex-Anweisung nicht sehen.
Quelle: Google Search Central: Block Search indexing with noindex

Was bedeutet noindex? #

noindex ist eine Robots-Anweisung, die Suchmaschinen mitteilt:

Diese Seite soll nicht in den Suchergebnissen erscheinen.

Typische HTML-Umsetzung im <head>:

<meta name="robots" content="noindex, follow">

Das bedeutet:

• noindex: Seite nicht indexieren.
• follow: Links auf der Seite dürfen verfolgt werden.

follow ist dabei meist nicht zwingend nötig, wird aber häufig verwendet, um die Absicht klar zu machen.

Google dokumentiert, dass Robots-Meta-Tags und X-Robots-Tags nur gelesen werden können, wenn Crawler Zugriff auf die Seite haben.
Quelle: Google Search Central: Robots Meta Tags

Meta noindex vs. X-Robots-Tag #

Es gibt zwei wichtige Möglichkeiten, noindex zu setzen.

1. Meta-Robots-Tag im HTML #

Für normale HTML-Seiten:

<meta name="robots" content="noindex">

oder:

<meta name="robots" content="noindex, follow">

Der Tag gehört in den <head> der Seite.

2. X-Robots-Tag im HTTP-Header #

Für PDFs, Bilder, Dateien oder serverseitige Regeln kann noindex im HTTP-Header gesetzt werden:

X-Robots-Tag: noindex

Das ist besonders nützlich für:

• PDFs,
• Word-Dokumente,
• Bilder,
• Download-Dateien,
• automatisch erzeugte Dateien,
• ganze Dateitypen.

Google weist darauf hin, dass der X-Robots-Tag besonders nützlich ist, um die Indexierung von Nicht-HTML-Dateien zu steuern.
Quelle: Google Search Central: Meta tags and attributes that Google supports

Was bedeutet «Inhaltsseiten von der Indexierung ausgeschlossen»? #

Die RankScan-Massnahme «Inhaltsseiten von der Indexierung ausgeschlossen» bedeutet: Der Crawl fand auf Inhaltsseiten ein noindex. RankScan liest dafür zwei Stellen: den Meta-Robots-Tag im HTML und den X-Robots-Tag im HTTP-Header. Auch der Wert none zählt, er steht für noindex, nofollow. Im X-Robots-Tag erkennt RankScan nur die einfache Form in Kleinbuchstaben, etwa X-Robots-Tag: noindex. Eine Angabe mit Bot-Namen wie googlebot: noindex erkennt RankScan nicht.

Einstufung in RankScan: Schwere niedrig · Aufwand gering · Arbeitsart Entwicklung.

RankScan zählt nur Inhaltsseiten mit, etwa Startseite, Artikel, Produkte, Kategorien und Kontaktseiten. Rechts-, System- und Bestätigungsseiten zählt RankScan nicht mit. Auch Funktionsseiten wie Galerie, Buchung oder Newsletter fallen weg. Die Zuordnung der Seitentypen ist eine Schätzung. Deshalb kann trotzdem eine Systemseite in der Liste stehen. Bleibt nach der Meldung nur eine solche gewollte Seite übrig, steht die Massnahme auf «Noch nicht behoben». Ignoriere sie dann.

Ein noindex kann korrekt sein.

Beispiele für bewusst gesetztes noindex:

• interne Suchergebnisse,
• Warenkorb,
• Checkout,
• Login,
• Dankesseiten,
• Filterseiten ohne Suchwert,
• dünne Archivseiten,
• Staging- oder Testseiten,
• interne Dokumentation,
• doppelte oder wenig hilfreiche Seiten.

Problematisch wird es, wenn wichtige Seiten betroffen sind:

• Startseite,
• Leistungsseiten,
• Produktseiten,
• Kategorieseiten,
• Ratgeberartikel,
• Standortseiten,
• Landingpages,
• Seiten in der Sitemap,
• Seiten mit organischen Rankings,
• Seiten mit Backlinks,
• Seiten mit interner Verlinkung.

Vorgehen #

1. Prüfe zuerst, ob eine Seite eine Systemseite ist: Login, Konto, Passwort oder Formularstatus. Dort ist noindex richtig. Lass es stehen.
2. Öffne die übrigen Seiten und prüfe, ob sie in Suchergebnissen erscheinen sollen.
3. Gib diese Seiten an Entwicklung oder Agentur weiter, damit sie die Noindex-Einstellung entfernen. Das noindex steckt oft in einem SEOSuchmaschinenoptimierung (SEO) umfasst alle Maßnahmen, mit denen eine Website in den unbezahlten (organischen) Suchergebnissen besser sichtbar wird.Zum Glossareintrag →-Plugin, in der Seitenvorlage oder in einer Serverregel für den X-Robots-Tag.
4. Lass noindex nur bei Seiten stehen, die bewusst nicht in die Suche gehören.
5. Melde die Massnahme als umgesetzt, sobald die Änderung online ist.

Prüfweg: Der nächste vollständige Crawl prüft alle betroffenen Seiten. RankScan meldet dann «Behoben» oder «Noch nicht behoben» mit der Zahl der Seiten, die noch fehlen.

Was bedeutet «Seiten für Crawler gesperrt»? #

Die RankScan-Massnahme «Seiten für Crawler gesperrt» bedeutet: Die betroffenen Seiten antworten mit HTTP 401 oder 403. Der Server verlangt eine Anmeldung oder verweigert den Zugriff.

Einstufung in RankScan: Schwere niedrig · Aufwand gering · Arbeitsart Entwicklung.

Die beiden Statuscodes bedeuten:

• 401 Unauthorized: Der Server verlangt eine Anmeldung, etwa per Login oder HTTP Auth.
• 403 Forbidden: Der Server verweigert den Zugriff, etwa wegen einer Rechteregel oder einer Firewall.

Die Massnahme misst nicht die robots.txt. Eine Seite, die nur per robots.txt gesperrt ist, antwortet normal mit 200. RankScan meldet sie in dieser Massnahme nicht.

Google behandelt 401 und 403 wie die meisten 4xx-Codes: Die Crawler melden, dass der Inhalt nicht vorhanden ist. War die Adresse schon im Index, entfernt Google sie daraus.
Quelle: Google Crawling Infrastructure: How HTTP status codes affect Google's crawlers

Login-, Konto- und Admin-Bereiche sind zu Recht gesperrt. Eine Sperre auf öffentlichen Inhalten verhindert dagegen, dass Suchmaschinen und KI-Systeme sie lesen.

Typische Ursachen für eine Sperre auf öffentlichen Seiten:

• Der Passwortschutz der Staging-Umgebung blieb nach dem Livegang aktiv.
• Ein Bereich ist versehentlich nur für angemeldete Nutzer freigegeben.
• Eine Firewall oder ein Bot-Schutz sperrt Crawler, lässt Browser aber durch.
• Dateirechte auf dem Server sind falsch gesetzt.

Vorgehen #

1. Öffne die betroffenen Adressen und prüfe, ob sie zu Login-, Konto- oder Admin-Bereichen gehören.
2. Lass diese Bereiche gesperrt. Sind alle Sperren gewollt, ignoriere die Massnahme. Eine ignorierte Massnahme öffnet sich nicht wieder. Prüfe nach einem Relaunch die Sperren deshalb selbst.
3. Gib die Liste der öffentlichen Inhalte an Entwicklung oder Agentur weiter, damit sie die Sperre aufheben. Öffnet eine Seite im Browser normal, prüfe mit ihnen die Regeln von Firewall und Bot-Schutz.
4. Melde die Massnahme als umgesetzt.

Prüfweg: Der nächste vollständige Crawl prüft alle betroffenen Seiten. RankScan meldet dann «Behoben» oder «Noch nicht behoben» mit der Zahl der Seiten, die noch fehlen.

Der kritische Fehler: robots.txt blockiert noindex #

Das häufigste Missverständnis:

User-agent: *
Disallow: /alte-seite/

und gleichzeitig auf der Seite:

<meta name="robots" content="noindex">

Das wirkt auf den ersten Blick doppelt sicher. Tatsächlich ist es widersprüchlich.

Wenn Google die Seite wegen robots.txt nicht crawlen darf, kann Google den noindex-Tag auf der Seite nicht sehen. Die URL kann trotzdem in den Suchergebnissen erscheinen, etwa wenn andere Seiten darauf verlinken.

Google sagt ausdrücklich: Damit noindex wirksam wird, darf die Seite nicht durch robots.txt blockiert sein und muss für den Crawler zugänglich sein.
Quelle: Google Search Central: Block Search indexing with noindex

Die Regel lautet:

Wenn eine Seite aus dem Index soll: crawlbar lassen und noindex setzen.

robots.txt ist kein Sicherheitsschutz #

Die robots.txt ist öffentlich abrufbar:

https://example.ch/robots.txt

Sie ist kein Passwortschutz und keine Zugriffskontrolle.

Nicht geeignet für:

• vertrauliche Dokumente,
• Kundendaten,
• interne Dateien,
• Staging-Inhalte,
• private PDFs,
• Admin-Bereiche mit sensiblen Informationen.

Für sensible Inhalte brauchst du:

• Login,
• Passwortschutz,
• HTTP Auth,
• serverseitige Zugriffskontrolle,
• VPN (Virtual Private Network),
• IP-Beschränkung,
• sichere Rollen- und Rechteverwaltung.

Robots.txt basiert auf Kooperation. Seriöse Crawler halten sich daran, aber sie schützt Inhalte nicht vor direktem Zugriff.

noindex, nofollow, index follow: Was bedeutet was? #

Die Begriffe werden oft verwechselt.

In der Praxis ist noindex, follow häufig sinnvoller als noindex, nofollow, wenn die Seite zwar nicht indexiert werden soll, aber interne LinksInterne Verlinkung bezeichnet Links, die Seiten innerhalb derselben Website miteinander verbinden. Sie steuern, wie Suchmaschinen und Nutzer Inhalte finden und thematisch einordnen.Zum Glossareintrag → weiterhin für Crawling und Orientierung nützlich sind.

Google weist in einem älteren Blogbeitrag darauf hin, mehrere Robots-Werte möglichst in einem Meta-Tag zu kombinieren, um Konflikte zu vermeiden.
Quelle: Google Search Central Blog: Using the robots meta tag

noindex in robots.txt? Nicht verwenden #

Manchmal sieht man Regeln wie:

User-agent: *
Noindex: /intern/

Das ist keine zuverlässige Google-Regel.

Google hat 2019 klargestellt, dass nicht unterstützte robots.txt-Regeln wie noindex, nofollow und crawl-delay nicht weiter als inoffizielle Regeln unterstützt werden.
Quelle: Google Search Central Blog: A note on unsupported rules in robots.txt

Wenn du Indexierung verhindern willst, nutze:

<meta name="robots" content="noindex">

oder:

X-Robots-Tag: noindex

Nicht:

Noindex: /pfad/

robots.txt richtig einsetzen #

Dieser Abschnitt ist allgemeines Fachwissen. RankScan prüft die robots.txt in keiner der beiden Massnahmen dieses Artikels.

Die robots.txt ist sinnvoll, wenn du Crawling steuern willst.

Beispiel:

User-agent: *
Disallow: /admin/
Disallow: /warenkorb/
Disallow: /checkout/
Disallow: /suche/

Sitemap: https://example.ch/sitemap.xml

Typische sinnvolle Einsätze:

• technische Bereiche vom Crawling ausschliessen,
• interne Suchergebnisse reduzieren,
• unwichtige Parameterbereiche steuern,
• Serverlast reduzieren,
• bestimmte Bots steuern,
• Crawler für Künstliche Intelligenz (KI) gezielt erlauben oder blockieren,
• Sitemaps referenzieren.

Wichtig: Blockiere nicht pauschal CSS- oder JavaScript-Dateien, wenn Google sie zum Rendering braucht.

Eine per robots.txt blockierte URL kann trotzdem in Suchergebnissen erscheinen, wenn Google sie über Links findet. Soll eine Seite nicht in den Index, setze noindex und lass die URL crawlbar.
Quelle: Google Search Central: Technical requirements

Wann noindex, robots.txt, Canonical oder Redirect? #

Diese Werkzeuge haben unterschiedliche Aufgaben.

Priorisierung: Welche Fälle sind wirklich kritisch? #

Nicht jede Sperre hat dieselbe Relevanz. Die folgende Tabelle ist eine allgemeine fachliche Einordnung. RankScan zeigt für beide Massnahmen eine einzige Schwere: niedrig. Fälle mit robots.txt misst RankScan in diesen Massnahmen nicht.

Die wichtigste Regel:

Zuerst Systemseiten aussortieren. Dann prüfen, ob wichtige, intern verlinkte oder sitemap-relevante Seiten betroffen sind.

Content-Fehler oder Template-Fehler? #

Unterscheide, ob ein Fehler einzelne Seiten oder ganze Seitentypen betrifft.

Einzelproblem #

Beispiele:

• eine Landingpage wurde versehentlich auf noindex gesetzt,
• ein einzelner Artikel hat eine falsche Einstellung in der Suchmaschinenoptimierung (SEO),
• eine alte Kampagnenseite ist blockiert,
• ein einzelnes PDF hat falschen Header.

Lösung: Seite oder Datei korrigieren.

Template- oder Systemproblem #

Beispiele:

• alle Blogartikel sind noindex,
• Kategorieseiten erben Staging-Einstellung,
• robots.txt blockiert ganzes Verzeichnis,
• SEO-Plugin setzt global noindex,
• Shop-Filter sind pauschal falsch blockiert,
• Head-Template gibt falsche Meta-Robots aus,
• CDNEin Content Delivery Network (CDN) ist ein Netzwerk verteilter Server, das statische Inhalte näher beim Nutzer ausliefert und so Ladezeiten verkürzt.Zum Glossareintrag → (Content Delivery Network, ein Netzwerk verteilter Server zur schnelleren Auslieferung) oder WAF (Web Application Firewall) blockiert relevante Bots.

Lösung: Template, CMS-Konfiguration, Plugin, Deployment-Prozess oder Infrastruktur korrigieren.

Systemfehler sind meist dringender, weil sie viele URLs betreffen.

Typische Ursachen für noindex-Fehler #

1. Staging-Einstellungen wurden übernommen #

Während der Entwicklung ist noindex korrekt. Auf der Live-Site ist es fatal.

Häufige Ursache:

• WordPress-Schalter «Suchmaschinen davon abhalten»,
• Umgebungsvariable falsch gesetzt,
• SEO-Plugin aus Staging übernommen,
• Robots-Regeln nicht angepasst.

2. CMS- oder SEO-Plugin falsch konfiguriert #

Ein Plugin kann ganze Inhaltstypen auf noindex setzen:

• Kategorien,
• Tags,
• Autorenseiten,
• Produktarchive,
• Custom Post Types,
• Suchseiten.

3. Template gibt falsche Robots-Meta-Tags aus #

Beispiel:

<meta name="robots" content="noindex">

steht im globalen Head und wird dadurch auf allen Seiten ausgegeben.

4. Canonical/noindex-Konflikte #

Eine Seite wird per Canonical als Hauptversion genannt, ist aber gleichzeitig noindex. Das ist widersprüchlich.

5. JavaScript oder Tag Manager setzt Meta-Robots #

Meta-Robots sollten nicht unkontrolliert clientseitig erzeugt oder verändert werden. Für Suchmaschinen muss die Anweisung zuverlässig erkennbar sein.

Typische Ursachen für robots.txt-Fehler #

Auch dieser Abschnitt ist allgemeines Fachwissen. Er hilft dir, wenn die Google Search ConsoleDie Google Search Console (GSC) ist ein kostenloses Google-Tool, das zeigt, wie eine Website in der organischen Suche performt, mit Daten zu Impressionen, Klicks, Klickrate und durchschnittlicher Position sowie zu Indexierung und technischen Problemen.Zum Glossareintrag → blockierte Seiten zeigt.

1. Pauschales Disallow aus Staging #

User-agent: *
Disallow: /

Auf Staging sinnvoll. Auf Produktion kritisch.

2. Falsches Verzeichnis blockiert #

Disallow: /blog/

wenn der Blog indexiert werden soll.

3. Assets blockiert #

Disallow: /assets/
Disallow: /js/
Disallow: /css/

Das kann Rendering und Qualitätsbewertung erschweren.

4. Parameter zu grob blockiert #

Manchmal werden Filter- oder Parameterseiten so breit blockiert, dass wichtige Landingpages betroffen sind.

5. Crawler-spezifische Regeln falsch gesetzt #

Beispiel:

User-agent: Googlebot
Disallow: /

Das blockiert Google direkt und ist auf einer Live-Site meistens fatal.

noindex und robots.txt bei KI-Crawlern #

Die robots.txt steuert nicht nur GooglebotDer Googlebot ist der Webcrawler von Google, der Webseiten abruft, um sie für die Google-Suche zu crawlen und zu indexieren.Zum Glossareintrag →, sondern kann auch KI-Crawler betreffen.

Beispiele für KI-User-Agents:

• GPTBotGPTBot ist der von OpenAI dokumentierte Crawler, der typischerweise für das Training künftiger Modelle Inhalte abruft. Er lässt sich über robots.txt gezielt erlauben oder blockieren.Zum Glossareintrag →,
• OAI-SearchBotOAI-SearchBot ist der von OpenAI dokumentierte Crawler für ChatGPT Search. Er ruft Inhalte ab, damit öffentliche Websites als Quelle in ChatGPT-Zusammenfassungen, Snippets und Antworten erscheinen können.Zum Glossareintrag →,
• ChatGPT-UserChatGPT-User ist der von OpenAI dokumentierte User-Agent für nutzerinitiierte Abrufe. Er ruft eine Seite ab, wenn ein Nutzer in ChatGPT eine konkrete URL oder Anfrage eingibt.Zum Glossareintrag →,
• ClaudeBotClaudeBot ist der von Anthropic genutzte Web-Crawler. Website-Betreiber können seinen Zugriff über die robots.txt steuern und bei Bedarf blockieren.Zum Glossareintrag →,
• PerplexityBotPerplexityBot ist der von Perplexity dokumentierte Crawler, der Websites in Perplexity-Suchergebnissen sichtbar machen und als Quelle verlinken soll. Laut Perplexity wird er nicht für das Training von Foundation Models genutzt.Zum Glossareintrag →,
• Google-ExtendedGoogle-Extended ist ein Produkt-Token, mit dem sich bestimmte KI-Nutzungen durch Google in der robots.txt steuern lassen. Es ist kein eigener HTTP-User-Agent und nicht mit dem Googlebot identisch.Zum Glossareintrag →.

Wenn du KI-Crawler pauschal blockierst, kann das Auswirkungen auf AI Visibility haben. Gleichzeitig kann es strategisch sinnvoll sein, Training zu begrenzen und Live-Abruf zu erlauben.

Das Thema gehört eng zum Artikel KI-Crawler steuern: robots.txt & llms.txtllms.txt ist eine freiwillige Markdown-Datei im Root-Verzeichnis einer Website, die Sprachmodellen eine kompakte Übersicht über wichtige Inhalte gibt. Sie ist ein Vorschlag bzw. De-facto-Format, kein verbindlicher offizieller Webstandard.Zum Glossareintrag →. Dort steht auch die RankScan-Massnahme «KI-Crawler per robots.txt ausgeschlossen».

Wichtig für diesen Artikel:

• robots.txt steuert Crawling.
• noindex steuert klassische Suchindexierung.
• KI-Crawler können durch robots.txt blockiert werden.
• Eine Blockade von KI-Crawlern ist nicht automatisch schlecht, sollte aber bewusst erfolgen.
• Der normale Googlebot sollte nicht versehentlich blockiert werden, wenn klassische Google-Sichtbarkeit erhalten bleiben soll.

Was tun nach einem RankScan-Fund? #

Die Schritte der beiden Massnahmen stehen oben in ihren Abschnitten. Sind viele Seiten betroffen, hilft dir dieses allgemeine Vorgehen bei der Ursachensuche.

Schritt 1: Systemseiten aussortieren und URLs gruppieren #

Trenne zuerst Login-, Konto-, Passwort- und Admin-Seiten ab. Dort sind noindex und 401 oder 403 richtig.

Gruppiere die übrigen Adressen. Prüfe dabei:

• einzelne URLs,
• Seitentypen,
• Verzeichnisse,
• Templates,
• Sitemaps,
• Produktbereiche,
• Blogbereiche,
• Staging-/Testpfade,
• Assets.

Schritt 2: Indexierungsziel bestimmen #

Für jede Gruppe fragen:

Soll diese URL in Google erscheinen?
Soll diese URL gecrawlt werden?
Soll diese URL nur für Nutzer erreichbar sein?
Soll diese URL geschützt werden?

Erst danach entscheidest du über noindex, robots.txt, Canonical, Redirect oder Login.

Schritt 3: Widersprüche erkennen #

Achte auf Kombinationen wie:

Schritt 4: Ursache beheben #

Typische Massnahmen:

• noindex von wichtigen Seiten entfernen,
• Zugriffssperre (401 oder 403) auf öffentlichen Seiten aufheben,
• robots.txt-Regeln präzisieren,
• Staging-Regeln aus Produktion entfernen,
• Sitemap bereinigen,
• noindex-Seiten aus Sitemap entfernen,
• CSS/JS wieder crawlbar machen,
• Canonical/noindex-Konflikte lösen,
• SEO-Plugin-Konfiguration prüfen,
• Template korrigieren,
• WAF/CDN-Bot-Regeln prüfen.

Schritt 5: In Google Search Console prüfen #

Nutze:

• URL-Prüftool,
• Seitenindexierung,
• Crawling-Statistiken,
• robots.txt-Bericht,
• Live-Test,
• Sitemap-Bericht.

Google Search Console zeigt unter anderem, ob eine URL durch noindex ausgeschlossen ist oder ob Crawling durch robots.txt blockiert wird.

Schritt 6: Korrektur prüfen und als umgesetzt melden #

Prüfe nach der Korrektur:

• Ist noindex auf wichtigen Seiten entfernt?
• Sind noindex-Seiten aus der Sitemap entfernt?
• Ist robots.txt nicht mehr zu restriktiv?
• Sind CSS/JS erreichbar?
• Sind wichtige URLs indexierbar?
• Antworten öffentliche Seiten mit 200 statt 401 oder 403?
• Wurde Google zur erneuten Prüfung angestossen?

Melde danach die Massnahme in RankScan als umgesetzt. Der nächste vollständige Crawl prüft alle betroffenen Seiten. RankScan meldet dann «Behoben» oder «Noch nicht behoben» mit der Zahl der Seiten, die noch fehlen.

Worauf ein guter Indexierungs-Check achtet #

Die folgende Liste ist eine allgemeine Checkliste für eine vollständige Prüfung. RankScan misst davon nur einen Teil, siehe den Abschnitt darunter.

Eine vollständige Prüfung umfasst:

• Seiten mit noindex,
• wichtige Seiten mit noindex,
• noindex-Seiten in Sitemap,
• noindex auf kanonischen URLs,
• Canonical auf noindex-Ziel,
• robots.txt blockiert wichtige Inhalte,
• robots.txt blockiert ganze Verzeichnisse,
• robots.txt blockiert CSS/JS,
• Disallow: / auf Live-Site,
• Googlebot-spezifische Blockaden,
• KI-Crawler-Blockaden,
• noindex im Meta-Tag,
• noindex im X-Robots-Tag,
• widersprüchliche Robots-Meta-Tags,
• robots.txt + noindex-Konflikte,
• Statuscode und Indexierbarkeit, etwa 401 oder 403 auf öffentlichen Seiten,
• mobile/desktop Unterschiede,
• Template- oder CMS-Muster.

Was RankScan davon misst #

• noindex auf Inhaltsseiten: im Meta-Robots-Tag oder im X-Robots-Tag, auch als none. Daraus entsteht «Inhaltsseiten von der Indexierung ausgeschlossen».
• HTTP 401 oder 403: auf allen gecrawlten Seiten. Daraus entsteht «Seiten für Crawler gesperrt».
• KI-Crawler in der robots.txt: Gemeint sind Such- und Abruf-Crawler, die die robots.txt mit Disallow: / ganz sperrt, in einer eigenen Gruppe oder über User-agent: *. Sperren für Trainings-Crawler oder für einzelne Verzeichnisse meldet RankScan nicht. Daraus entsteht «KI-Crawler per robots.txt ausgeschlossen». Diese Massnahme erklärt der Artikel KI-Crawler und llms.txt.

Für die übrigen Punkte der Liste hat RankScan keine eigene Massnahme. Prüfe sie bei Bedarf selbst, etwa mit der Google Search Console. Dazu gehören Sperren für Googlebot in der robots.txt, noindex-Seiten in der Sitemap und Konflikte mit dem Canonical.

Beispiel: Unsichtbarer Relaunch durch noindex #

Ausgangslage #

Eine Website wird auf einem Staging-System vorbereitet. Dort ist korrekt gesetzt:

<meta name="robots" content="noindex, nofollow">

Nach dem Livegang bleibt diese Einstellung aktiv. Zusätzlich bleibt der Ratgeber-Bereich hinter dem Passwortschutz der Staging-Umgebung.

RankScan meldet:

«Inhaltsseiten von der Indexierung ausgeschlossen»
«Seiten für Crawler gesperrt»

Analyse #

• Die Leistungsseiten tragen noch das noindex aus dem Staging.
• Die Ratgeberseiten antworten mit 401, weil der Passwortschutz noch aktiv ist.
• Die Login-Seite des Kundenportals antwortet mit 403. Diese Sperre ist gewollt.
• Mehrere noindex-Seiten stehen trotzdem in der Sitemap.
• In der Google Search Console zeigt sich zusätzlich: Die robots.txt enthält noch Disallow: /staging-assets/. Einige JS-Dateien sind dadurch blockiert. Diesen Punkt meldet RankScan nicht.

Lösung #

1. Login-Seite des Kundenportals gesperrt lassen.
2. noindex von den Leistungsseiten entfernen.
3. SEO-Plugin-Konfiguration korrigieren.
4. Passwortschutz vom Ratgeber-Bereich entfernen.
5. Sitemap neu generieren.
6. robots.txt bereinigen und CSS/JS freigeben.
7. Staging künftig per HTTP Auth schützen.
8. Google Search Console URL-Prüfung nutzen.
9. Beide Massnahmen in RankScan als umgesetzt melden.

Der nächste vollständige Crawl prüft alle betroffenen Seiten. Danach antwortet nur noch die Login-Seite mit 403. Diese Sperre ist gewollt. Die Massnahme steht dann auf «Noch nicht behoben», mit einer Seite. Ignoriere sie dann. Eine ignorierte Massnahme öffnet sich nicht wieder. Prüfe nach einem Relaunch die Sperren deshalb selbst.

Ergebnis #

Die Seiten sind wieder crawlbar und indexierbar. Der Fehler war kein Content-Problem, sondern ein technischer Deployment-Fehler.

Häufige Fehler #

Fehler 1: robots.txt als Indexierungsschutz verwenden #

Disallow verhindert Crawling, nicht zuverlässig Indexierung.

Fehler 2: noindex und robots.txt kombinieren #

Wenn Google eine Seite nicht crawlen darf, kann Google noindex nicht sehen.

Fehler 3: Live-Site mit Staging-Regeln veröffentlichen #

Disallow: / oder globales noindex gehören nicht auf die produktive Website.

Fehler 4: noindex-Seiten in der Sitemap lassen #

Die Sitemap sollte nur URLs enthalten, die indexiert werden sollen.

Fehler 5: CSS und JavaScript blockieren #

Google muss Seiten rendern können. Wichtige Ressourcen sollten crawlbar sein.

Fehler 6: nofollow unnötig verwenden #

nofollow auf internen Seiten kann interne Linksignale und Crawling unnötig schwächen.

Fehler 7: robots.txt für sensible Daten nutzen #

Robots.txt ist öffentlich. Schutz braucht Authentifizierung oder serverseitige Sperren.

Fehler 8: Öffentliche Seiten hinter einer Zugriffssperre lassen #

Ein Passwortschutz aus dem Staging oder eine zu strenge Firewall sperrt auch Crawler aus. Antwortet eine öffentliche Seite mit 401 oder 403, kann Google sie nicht lesen.

Checkliste: noindex und robots.txt prüfen #

Nutze diese Checkliste:

• Hast du Systemseiten wie Login, Konto und Admin zuerst aussortiert?
• Gibt es wichtige Seiten mit noindex?
• Antworten öffentliche Seiten mit 401 oder 403?
• Gibt es noindex-Seiten in der Sitemap?
• Gibt es Disallow: / auf der Live-Site?
• Blockiert robots.txt wichtige Verzeichnisse?
• Blockiert robots.txt CSS, JS oder Bilder?
• Sind wichtige Seiten crawlbar?
• Sind Seiten, die aus dem Index sollen, crawlbar und noindex?
• Gibt es Canonical/noindex-Konflikte?
• Gibt es mehrere widersprüchliche Robots-Meta-Tags?
• Werden X-Robots-Tags auf PDFs korrekt gesetzt?
• Sind Staging-Seiten per Auth geschützt?
• Wurden SEO-Plugin- und CMS-Einstellungen geprüft?
• Wurde in der Google Search Console getestet?
• Hast du die Massnahme in RankScan als umgesetzt gemeldet?

Ergänzend dazu helfen 404-Fehler, um die Ursache sauber einzugrenzen und die nächsten SEO-Massnahmen zu priorisieren.

Fazit: Crawling und Indexierung sauber trennen #

noindex und robots.txt sind keine austauschbaren Werkzeuge. Wer sie verwechselt, riskiert, wichtige Seiten aus Google zu entfernen oder Google daran zu hindern, entscheidende Signale überhaupt zu lesen.

Die wichtigste Regel lautet:

robots.txt steuert Crawling. noindex steuert Indexierung.

Für Zugriffssperren gilt eine dritte Regel: 401 und 403 gehören auf Login-, Konto- und Admin-Bereiche, nicht auf öffentliche Inhalte.

RankScan stuft die Massnahmen «Inhaltsseiten von der Indexierung ausgeschlossen» und «Seiten für Crawler gesperrt» mit niedriger Schwere ein. Viele Sperren sind gewollt. Eine versehentliche Sperre auf einer wichtigen Seite kostet trotzdem Sichtbarkeit.

Die beste Vorgehensweise lautet:

1. Systemseiten wie Login und Konto aussortieren,
2. übrige URLs gruppieren,
3. Indexierungsziel bestimmen,
4. noindex, Zugriffssperren und robots.txt-Regeln prüfen,
5. Widersprüche erkennen,
6. wichtige Seiten freigeben,
7. Sitemaps, Canonicals und interne Links abgleichen,
8. in der Google Search Console testen,
9. die Massnahme in RankScan als umgesetzt melden.

Der nächste vollständige Crawl zeigt dann, ob die ungewollten Sperren weg sind.

So wird Indexierungssteuerung nicht zum Risiko, sondern zu einem kontrollierten Teil deiner Website-Health-Strategie.

Quellen und weiterführende Informationen #

• Google Search Central: Block Search indexing with noindex
• Google Search Central: Robots Meta Tags
• Google Search Central: robots.txt Introduction and Guide
• Google Search Central: Technical requirements
• Google Crawling Infrastructure: How HTTP status codes affect Google's crawlers
• Search Console-Hilfe: robots.txt-Bericht
• Google Search Central: Meta tags and attributes that Google supports
• Google Search Central Blog: A note on unsupported rules in robots.txt
• Google Search Central Blog: Using the robots meta tag