ClaudeBot ist der Crawler von Anthropic, dem Anbieter der KI-Assistenten der Claude-Reihe. Anthropic beschreibt für Website-Betreiber die Möglichkeit, den Zugriff von ClaudeBot ist der von Anthropic genutzte Web-Crawler. Website-Betreiber können seinen Zugriff über die robots.txt steuern und bei Bedarf blockieren.Zum Glossareintrag → über die Die robots.txt ist eine öffentlich abrufbare Textdatei im Wurzelverzeichnis einer Website. Sie teilt Crawlern mit, welche URLs sie abrufen dürfen, steuert also das Crawling.Zum Glossareintrag → zu erlauben oder zu blockieren.

Beispiel zum Blockieren:

  • User-agent: ClaudeBot
  • Disallow: /

Wie bei anderen KI-Crawlern ist die Entscheidung eine Frage der Datenstrategie. Wer Inhalte nicht für bestimmte KI-Nutzung freigeben möchte, kann ClaudeBot einschränken. Wer möglichst breite KI-Sichtbarkeit beschreibt, ob und wie sichtbar eine Marke, Website oder Person in KI-generierten Antworten ist. Sie misst Erwähnung, Position, Beschreibung und Quellenverlinkung über mehrere Plattformen und Prompts hinweg.Zum Glossareintrag → anstrebt, erlaubt ihn. robots.txt basiert auf Kooperation und ist kein Sicherheitsmechanismus; sensible Inhalte brauchen Login-, Server- oder WAF-Schutz.