Bei der verarbeitet Google die zuvor gecrawlten Inhalte und entscheidet, ob eine URL in den Suchindex aufgenommen wird. Erst indexierte Seiten können in den Suchergebnissen erscheinen.

und Indexierung sind zwei getrennte Schritte. Eine Seite darf gecrawlt werden, soll aber unter Umständen nicht im Index erscheinen. Genau das steuert die Anweisung noindex.

Damit eine Seite nicht indexiert wird, sollte sie crawlbar bleiben und ein noindex erhalten. Eine Blockade per robots.txt ist kein zuverlässiger Indexierungsschutz: Eine blockierte URL kann weiterhin in den Suchergebnissen auftauchen, wenn andere Seiten darauf verlinken.

  • Indexierung = Aufnahme in den Suchindex
  • steuerbar über noindex
  • robots.txt verhindert Crawling, nicht zuverlässig Indexierung

Vom Crawling zum Ranking #

Die Indexierung liegt zwischen Crawling und Ranking: Eine gecrawlte Seite wird analysiert, dedupliziert und — wenn sie Qualitätsschwellen passiert — im Index gespeichert. Nur indexierte Seiten können ranken. «Gecrawlt – zurzeit nicht indexiert» in der signalisiert meist dünne, doppelte oder schwach verlinkte Inhalte, keinen technischen Defekt.

Indexierung prüfen und verbessern #

Für einzelne Seiten das URL-Prüftool nutzen, für Muster den Bericht zur Seitenindexierung. Abdeckung verbessert man durch Konsolidieren von Fast-Duplikaten, stärkere wichtiger Seiten, korrekte — und noindex nur für Seiten, die wirklich draussen bleiben sollen.