Beim Beim Crawling ruft ein Suchmaschinen-Bot eine URL ab und lädt deren Inhalte herunter. Es ist der erste Schritt, bevor eine Seite indexiert werden kann.Zum Glossareintrag → ruft ein automatisierter Bot (zum Beispiel der Der Googlebot ist der Webcrawler von Google, der Webseiten abruft, um sie für die Google-Suche zu crawlen und zu indexieren.Zum Glossareintrag →) eine URL ab und lädt das HyperText Markup Language (HTML) ist die Auszeichnungssprache für Webseiten. Mit ihr werden Struktur und Inhalt einer Seite definiert, etwa Überschriften, Absätze, Links und Bilder.Zum Glossareintrag → sowie weitere Ressourcen wie Bilder, Cascading Style Sheets (CSS) ist die Sprache, mit der das Layout und die Gestaltung von Webseiten festgelegt werden. CSS bestimmt unter anderem Farben, Schriften, Abstände und Anordnung.Zum Glossareintrag → und JavaScript herunter. Crawling ist die Voraussetzung dafür, dass Inhalte überhaupt verarbeitet und Bei der Indexierung verarbeitet eine Suchmaschine gecrawlte Inhalte und entscheidet, ob eine URL in den Suchindex aufgenommen wird. Nur indexierte Seiten können in den Suchergebnissen erscheinen.Zum Glossareintrag → werden können.
Welche URLs ein Crawler abrufen darf, lässt sich über die Datei robots.txt steuern. Sie dient vor allem dazu, Crawler-Traffic zu lenken und Server nicht unnötig zu belasten.
Wichtig ist die Abgrenzung zur Indexierung: Crawling bedeutet nur das Abrufen einer Seite, nicht ihre Aufnahme in den Suchindex. Damit Suchmaschinen Anweisungen wie noindex oder einen Der Canonical-Tag ist ein HTML-Link-Element, das Suchmaschinen die bevorzugte (kanonische) URL einer Seite mitteilt. Er hilft, doppelte oder ähnliche URLs auf eine Hauptversion zu bündeln.Zum Glossareintrag → lesen können, muss eine Seite crawlbar sein. Ist sie per robots.txt blockiert, können diese Signale nicht zuverlässig erkannt werden.
- Crawling = Abrufen einer URL
- gesteuert über die
robots.txt - Voraussetzung für Indexierung und das Lesen von Robots-Anweisungen