X-Robots-Tag

Der X-Robots-TagDer X-Robots-Tag ist eine Robots-Anweisung im HTTP-Header. Er ermöglicht es, Indexierungsregeln wie noindex auch für Nicht-HTML-Dateien wie PDFs oder Bilder zu setzen.Zum Glossareintrag → ist eine Robots-Anweisung, die nicht im HTMLHyperText Markup Language (HTML) ist die Auszeichnungssprache für Webseiten. Mit ihr werden Struktur und Inhalt einer Seite definiert, etwa Überschriften, Absätze, Links und Bilder.Zum Glossareintrag →, sondern im HTTPHTTP (Hypertext Transfer Protocol) ist das Protokoll, über das Browser und Server Webinhalte austauschen. HTTPS ist die verschlüsselte, sichere Variante dieses Protokolls.Zum Glossareintrag →-Header (Hypertext Transfer Protocol) ausgeliefert wird. Damit lassen sich Indexierungsregeln serverseitig setzen.

Beispiel:

X-Robots-Tag: noindex

Der X-Robots-TagDer Meta-Robots-Tag ist ein HTML-Element im einer Seite, das Suchmaschinen Anweisungen zur Indexierung und Linkverfolgung gibt, etwa noindex oder nofollow.Zum Glossareintrag → ist besonders nützlich für Dateien, die kein HTML enthalten und daher keinen Meta-Robots-Tag aufnehmen können, zum Beispiel:

• PDFs,
• Word-Dokumente,
• Bilder,
• Download-Dateien,
• ganze Dateitypen über Serverregeln.

Wie beim Meta-Robots-Tag gilt: Damit Suchmaschinen die Anweisung lesen können, muss die Ressource crawlbarBeim Crawling ruft ein Suchmaschinen-Bot eine URL ab und lädt deren Inhalte herunter. Es ist der erste Schritt, bevor eine Seite indexiert werden kann.Zum Glossareintrag → sein und darf nicht per robots.txt blockiert sein.