Google-Extended ist ein Produkt-Token, mit dem sich bestimmte KI-Nutzungen durch Google in der robots.txt steuern lassen. Es ist kein eigener HTTP-User-Agent und nicht mit dem Googlebot identisch.
Google-Extended erlaubt es Website-Betreibern, bestimmte KI-Nutzungen durch Google zu steuern, ohne die klassische Google-Suche zu beeinträchtigen. Google erklärt, dass kein separater Crawler ist; das erfolgt über bestehende Google-User-Agents, während Google-Extended in der als Produkt-Token verwendet wird.
Der häufigste Fehler ist die Verwechslung mit dem :
User-agent: Google-Extended / Disallow: / steuert nur die KI-Nutzung,
User-agent: Googlebot / Disallow: / gefährdet die klassische Google-Sichtbarkeit.
Wer also Google-KI-Nutzung einschränken möchtest, sollte den Googlebot nicht versehentlich blockieren. Beide Token erfüllen unterschiedliche Zwecke und müssen bewusst getrennt behandelt werden.