Der Der Meta-Robots-Tag ist ein HTML-Element im <head> einer Seite, das Suchmaschinen Anweisungen zur Indexierung und Linkverfolgung gibt, etwa noindex oder nofollow.Zum Glossareintrag → ist ein HyperText Markup Language (HTML) ist die Auszeichnungssprache für Webseiten. Mit ihr werden Struktur und Inhalt einer Seite definiert, etwa Überschriften, Absätze, Links und Bilder.Zum Glossareintrag →-Element im <head> einer Seite. Er gibt Suchmaschinen Anweisungen, ob eine Seite Bei der Indexierung verarbeitet eine Suchmaschine gecrawlte Inhalte und entscheidet, ob eine URL in den Suchindex aufgenommen wird. Nur indexierte Seiten können in den Suchergebnissen erscheinen.Zum Glossareintrag → werden darf und ob Links auf der Seite verfolgt werden sollen.
Beispiel:
<meta name="robots" content="noindex, follow">
Gängige Werte sind index/noindex (Indexierung erlauben oder verhindern) und follow/nofollow (Links verfolgen oder nicht). Mehrere Werte sollten möglichst in einem einzigen Tag kombiniert werden, um Widersprüche zu vermeiden.
Der Meta-Robots-Tag eignet sich für normale HTML-Seiten. Damit Suchmaschinen ihn lesen können, muss die Seite Beim Crawling ruft ein Suchmaschinen-Bot eine URL ab und lädt deren Inhalte herunter. Es ist der erste Schritt, bevor eine Seite indexiert werden kann.Zum Glossareintrag → sein; eine Blockade per robots.txt verhindert das. Für Nicht-HTML-Dateien wie PDFs wird stattdessen der Der X-Robots-Tag ist eine Robots-Anweisung im HTTP-Header. Er ermöglicht es, Indexierungsregeln wie noindex auch für Nicht-HTML-Dateien wie PDFs oder Bilder zu setzen.Zum Glossareintrag → im HTTP (Hypertext Transfer Protocol) ist das Protokoll, über das Browser und Server Webinhalte austauschen. HTTPS ist die verschlüsselte, sichere Variante dieses Protokolls.Zum Glossareintrag →-Header verwendet.