Bei der verarbeitet Google die zuvor gecrawlten Inhalte und entscheidet, ob eine URL in den Suchindex aufgenommen wird. Erst indexierte Seiten können in den Suchergebnissen erscheinen.
und Indexierung sind zwei getrennte Schritte. Eine Seite darf gecrawlt werden, soll aber unter Umständen nicht im Index erscheinen. Genau das steuert die Anweisung noindex.
Damit eine Seite nicht indexiert wird, sollte sie crawlbar bleiben und ein noindex erhalten. Eine Blockade per robots.txt ist kein zuverlässiger Indexierungsschutz: Eine blockierte URL kann weiterhin in den Suchergebnissen auftauchen, wenn andere Seiten darauf verlinken.
- Indexierung = Aufnahme in den Suchindex
- steuerbar über
noindex robots.txtverhindert Crawling, nicht zuverlässig Indexierung