OAI-SearchBot dient der Such- und Quellenfunktion von ChatGPT, nicht dem Modelltraining. OpenAI weist darauf hin, dass Website-Betreiber diesen Bot nicht blockieren sollten, wenn ihre Inhalte als Quelle in ChatGPT Search erscheinen sollen.

Wer in ChatGPT sichtbar sein möchtest, erlaubt den Bot in der Die robots.txt ist eine öffentlich abrufbare Textdatei im Wurzelverzeichnis einer Website. Sie teilt Crawlern mit, welche URLs sie abrufen dürfen, steuert also das Crawling.Zum Glossareintrag →:

  • User-agent: OAI-SearchBot
  • Allow: /

Ein häufiger Fehler ist, nur GPTBot zu prüfen. Für ChatGPT-Sichtbarkeit sind aber gerade OAI-SearchBot und ChatGPT-User entscheidend. Wird OAI-SearchBot ist der von OpenAI dokumentierte Crawler für ChatGPT Search. Er ruft Inhalte ab, damit öffentliche Websites als Quelle in ChatGPT-Zusammenfassungen, Snippets und Antworten erscheinen können.Zum Glossareintrag → über robots.txt erlaubt, aber durch eine Firewall oder ein Ein Content Delivery Network (CDN) ist ein Netzwerk verteilter Server, das statische Inhalte näher beim Nutzer ausliefert und so Ladezeiten verkürzt.Zum Glossareintrag → mit Statuscode 403 geblockt, fehlen Inhalte trotzdem. Deshalb sollten Server-Logs auf den tatsächlichen Bot-Zugriff geprüft werden.

Zugriff über robots.txt steuern #

Wie andere seriöse Crawler respektiert OAI-SearchBot die robots.txt. Wer ihn blockiert, verschwindet aus den ChatGPT-Suchergebnissen; GPTBot ist der von OpenAI dokumentierte Crawler, der typischerweise für das Training künftiger Modelle Inhalte abruft. Er lässt sich über robots.txt gezielt erlauben oder blockieren.Zum Glossareintrag → zu blockieren betrifft nur das Modell-Training, und ChatGPT-User ist der von OpenAI dokumentierte User-Agent für nutzerinitiierte Abrufe. Er ruft eine Seite ab, wenn ein Nutzer in ChatGPT eine konkrete URL oder Anfrage eingibt.Zum Glossareintrag → regelt Live-Abrufe. Die drei Entscheidungen sind unabhängig — getrennt prüfen, statt «alles von OpenAI» in einer Regel zu sperren.

Warum das für KI-Sichtbarkeit zählt #

Wenn KI-Assistenten zum Discovery-Kanal für deine Zielgruppe werden, ist der Zugriff des OAI-SearchBot die technische Voraussetzung, um in ChatGPT-Antworten zitiert zu werden. robots.txt und Firewall-Regeln explizit prüfen — eine alte Pauschalregel gegen Bots kann dich unbemerkt von einem ganzen Kanal ausschliessen.