Das Crawl-Budget beschreibt, wie viele URLs eine Suchmaschine in einem bestimmten Zeitraum auf einer Website crawlt. Es wird vor allem bei sehr grossen Websites relevant.
Das beschreibt, wie viele URLs eine Suchmaschine in einem bestimmten Zeitraum auf einer Website abruft. Es ergibt sich grob aus der -Kapazität (wie viel der Server verträgt) und dem Crawl-Bedarf (wie wichtig und aktuell Inhalte sind).
Für die meisten kleinen und mittleren Websites ist das Crawl-Budget kein Engpass. Relevant wird es vor allem bei sehr grossen Websites und Shops mit vielen URLs, etwa durch Filter- und Parameter-Seiten.
Ineffizient genutzt wird Crawl-Budget unter anderem durch:
und 404-URLs,
-Ketten,
massenhaft ähnliche Parameter- und Filter-URLs,
.
Eine saubere Struktur hilft: eindeutige , eine aufgeräumte , das gezielte Steuern unwichtiger URLs sowie das Bereinigen toter Links. Ein allein löst kein Crawl-Budget-Problem, unterstützt aber eine klarere Einordnung der URLs.