Die robots.txt ist eine öffentlich abrufbare Textdatei im Wurzelverzeichnis einer Website. Sie teilt Crawlern mit, welche URLs sie abrufen dürfen, steuert also das Crawling.
Die ist eine Textdatei im Wurzelverzeichnis einer Website, zum Beispiel unter https://example.ch/robots.txt. Sie teilt Suchmaschinen-Crawlern über Regeln wie Disallow mit, welche URLs sie abrufen dürfen. Damit steuert sie das und hilft, Server nicht unnötig zu belasten.
Wichtig: Die robots.txt steuert Crawling, nicht . Eine per Disallow blockierte Seite kann trotzdem in den Suchergebnissen erscheinen, wenn andere Seiten darauf verlinken. Sie ist auch kein Sicherheitsschutz, da die Datei öffentlich einsehbar ist. Sensible Inhalte gehören hinter Login, Passwortschutz oder serverseitige Zugriffskontrolle.
Nicht unterstützte Regeln wie Noindex: oder crawl-delay sollten nicht verwendet werden. In der robots.txt kann zusätzlich die referenziert werden.