Die Die robots.txt ist eine öffentlich abrufbare Textdatei im Wurzelverzeichnis einer Website. Sie teilt Crawlern mit, welche URLs sie abrufen dürfen, steuert also das Crawling.Zum Glossareintrag → ist eine Textdatei im Wurzelverzeichnis einer Website, zum Beispiel unter https://example.ch/robots.txt. Sie teilt Suchmaschinen-Crawlern über Regeln wie Disallow mit, welche URLs sie abrufen dürfen. Damit steuert sie das Beim Crawling ruft ein Suchmaschinen-Bot eine URL ab und lädt deren Inhalte herunter. Es ist der erste Schritt, bevor eine Seite indexiert werden kann.Zum Glossareintrag → und hilft, Server nicht unnötig zu belasten.
Wichtig: Die robots.txt steuert Crawling, nicht Bei der Indexierung verarbeitet eine Suchmaschine gecrawlte Inhalte und entscheidet, ob eine URL in den Suchindex aufgenommen wird. Nur indexierte Seiten können in den Suchergebnissen erscheinen.Zum Glossareintrag →. Eine per Disallow blockierte Seite kann trotzdem in den Suchergebnissen erscheinen, wenn andere Seiten darauf verlinken. Sie ist auch kein Sicherheitsschutz, da die Datei öffentlich einsehbar ist. Sensible Inhalte gehören hinter Login, Passwortschutz oder serverseitige Zugriffskontrolle.
Nicht unterstützte Regeln wie Noindex: oder crawl-delay sollten nicht verwendet werden. In der robots.txt kann zusätzlich die Eine XML-Sitemap ist eine maschinenlesbare Datei, die wichtige URLs einer Website auflistet. Sie hilft Suchmaschinen, Inhalte effizienter zu finden, ersetzt aber keine interne Verlinkung und garantiert keine Indexierung.Zum Glossareintrag → referenziert werden.
- steuert Crawling, nicht Indexierung
- kein Sicherheits- oder Indexierungsschutz
- sollte Cascading Style Sheets (CSS) ist die Sprache, mit der das Layout und die Gestaltung von Webseiten festgelegt werden. CSS bestimmt unter anderem Farben, Schriften, Abstände und Anordnung.Zum Glossareintrag → und JavaScript nicht pauschal blockieren