Der Der X-Robots-Tag ist eine Robots-Anweisung im HTTP-Header. Er ermöglicht es, Indexierungsregeln wie noindex auch für Nicht-HTML-Dateien wie PDFs oder Bilder zu setzen.Zum Glossareintrag → ist eine Robots-Anweisung, die nicht im HyperText Markup Language (HTML) ist die Auszeichnungssprache für Webseiten. Mit ihr werden Struktur und Inhalt einer Seite definiert, etwa Überschriften, Absätze, Links und Bilder.Zum Glossareintrag →, sondern im HTTP (Hypertext Transfer Protocol) ist das Protokoll, über das Browser und Server Webinhalte austauschen. HTTPS ist die verschlüsselte, sichere Variante dieses Protokolls.Zum Glossareintrag →-Header (Hypertext Transfer Protocol) ausgeliefert wird. Damit lassen sich Indexierungsregeln serverseitig setzen.
Beispiel:
X-Robots-Tag: noindex
Der X-Der Meta-Robots-Tag ist ein HTML-Element im <head> einer Seite, das Suchmaschinen Anweisungen zur Indexierung und Linkverfolgung gibt, etwa noindex oder nofollow.Zum Glossareintrag → ist besonders nützlich für Dateien, die kein HTML enthalten und daher keinen Meta-Robots-Tag aufnehmen können, zum Beispiel:
- PDFs,
- Word-Dokumente,
- Bilder,
- Download-Dateien,
- ganze Dateitypen über Serverregeln.
Wie beim Meta-Robots-Tag gilt: Damit Suchmaschinen die Anweisung lesen können, muss die Ressource Beim Crawling ruft ein Suchmaschinen-Bot eine URL ab und lädt deren Inhalte herunter. Es ist der erste Schritt, bevor eine Seite indexiert werden kann.Zum Glossareintrag → sein und darf nicht per robots.txt blockiert sein.