Google-Extended erlaubt es Website-Betreibern, bestimmte KI-Nutzungen durch Google zu steuern, ohne die klassische Google-Suche zu beeinträchtigen. Google erklärt, dass Google-Extended ist ein Produkt-Token, mit dem sich bestimmte KI-Nutzungen durch Google in der robots.txt steuern lassen. Es ist kein eigener HTTP-User-Agent und nicht mit dem Googlebot identisch.Zum Glossareintrag → kein separater Crawler ist; das Beim Crawling ruft ein Suchmaschinen-Bot eine URL ab und lädt deren Inhalte herunter. Es ist der erste Schritt, bevor eine Seite indexiert werden kann.Zum Glossareintrag → erfolgt über bestehende Google-User-Agents, während Google-Extended in der Die robots.txt ist eine öffentlich abrufbare Textdatei im Wurzelverzeichnis einer Website. Sie teilt Crawlern mit, welche URLs sie abrufen dürfen, steuert also das Crawling.Zum Glossareintrag → als Produkt-Token verwendet wird.
Der häufigste Fehler ist die Verwechslung mit dem Der Googlebot ist der Webcrawler von Google, der Webseiten abruft, um sie für die Google-Suche zu crawlen und zu indexieren.Zum Glossareintrag →:
User-agent: Google-Extended/Disallow: /steuert nur die KI-Nutzung,User-agent: Googlebot/Disallow: /gefährdet die klassische Google-Sichtbarkeit.
Wer also Google-KI-Nutzung einschränken möchtest, sollte den Googlebot nicht versehentlich blockieren. Beide Token erfüllen unterschiedliche Zwecke und müssen bewusst getrennt behandelt werden.