OAI-SearchBot

OAI-SearchBot dient der Such- und Quellenfunktion von ChatGPT, nicht dem Modelltraining. OpenAI weist darauf hin, dass Website-Betreiber diesen Bot nicht blockieren sollten, wenn ihre Inhalte als Quelle in ChatGPT Search erscheinen sollen.

Wer in ChatGPT sichtbar sein möchtest, erlaubt den Bot in der robots.txtDie robots.txt ist eine öffentlich abrufbare Textdatei im Wurzelverzeichnis einer Website. Sie teilt Crawlern mit, welche URLs sie abrufen dürfen, steuert also das Crawling.Zum Glossareintrag →:

• User-agent: OAI-SearchBot
• Allow: /

Ein häufiger Fehler ist, nur GPTBot zu prüfen. Für ChatGPT-Sichtbarkeit sind aber gerade OAI-SearchBot und ChatGPT-User entscheidend. Wird OAI-SearchBotOAI-SearchBot ist der von OpenAI dokumentierte Crawler für ChatGPT Search. Er ruft Inhalte ab, damit öffentliche Websites als Quelle in ChatGPT-Zusammenfassungen, Snippets und Antworten erscheinen können.Zum Glossareintrag → über robots.txt erlaubt, aber durch eine Firewall oder ein CDNEin Content Delivery Network (CDN) ist ein Netzwerk verteilter Server, das statische Inhalte näher beim Nutzer ausliefert und so Ladezeiten verkürzt.Zum Glossareintrag → mit Statuscode 403 geblockt, fehlen Inhalte trotzdem. Deshalb sollten Server-Logs auf den tatsächlichen Bot-Zugriff geprüft werden.