Das Das Crawl-Budget beschreibt, wie viele URLs eine Suchmaschine in einem bestimmten Zeitraum auf einer Website crawlt. Es wird vor allem bei sehr grossen Websites relevant.Zum Glossareintrag → beschreibt, wie viele URLs eine Suchmaschine in einem bestimmten Zeitraum auf einer Website abruft. Es ergibt sich grob aus der Beim Crawling ruft ein Suchmaschinen-Bot eine URL ab und lädt deren Inhalte herunter. Es ist der erste Schritt, bevor eine Seite indexiert werden kann.Zum Glossareintrag →-Kapazität (wie viel der Server verträgt) und dem Crawl-Bedarf (wie wichtig und aktuell Inhalte sind).
Für die meisten kleinen und mittleren Websites ist das Crawl-Budget kein Engpass. Relevant wird es vor allem bei sehr grossen Websites und Shops mit vielen URLs, etwa durch Filter- und Parameter-Seiten.
Ineffizient genutzt wird Crawl-Budget unter anderem durch:
- Tote Links sind Links, die auf eine nicht mehr erreichbare URL zeigen, meist mit Statuscode 404. Besonders problematisch sind interne tote Links, die Nutzer und Crawler in eine Sackgasse führen.Zum Glossareintrag → und 404-URLs,
- Eine Weiterleitung (Redirect) leitet Nutzer und Suchmaschinen von einer URL auf eine andere um. Sie kann dauerhaft (301) oder temporär (302) sein und überträgt Signale auf die Ziel-URL.Zum Glossareintrag →-Ketten,
- massenhaft ähnliche Parameter- und Filter-URLs,
- Duplicate Content bezeichnet identische oder sehr ähnliche Inhalte, die unter mehreren URLs erreichbar sind. Das führt selten zu einer Strafe, aber zu Kontrollverlust bei der Auswahl der Hauptversion.Zum Glossareintrag →.
Eine saubere Struktur hilft: eindeutige Canonical-Signale sind alle Hinweise, mit denen Suchmaschinen die kanonische Hauptversion einer Seite bestimmen. Dazu zählen der Canonical-Tag, interne Links, die Sitemap, Redirects und hreflang.Zum Glossareintrag →, eine aufgeräumte Eine XML-Sitemap ist eine maschinenlesbare Datei, die wichtige URLs einer Website auflistet. Sie hilft Suchmaschinen, Inhalte effizienter zu finden, ersetzt aber keine interne Verlinkung und garantiert keine Indexierung.Zum Glossareintrag →, das gezielte Steuern unwichtiger URLs sowie das Bereinigen toter Links. Ein Der Canonical-Tag ist ein HTML-Link-Element, das Suchmaschinen die bevorzugte (kanonische) URL einer Seite mitteilt. Er hilft, doppelte oder ähnliche URLs auf eine Hauptversion zu bündeln.Zum Glossareintrag → allein löst kein Crawl-Budget-Problem, unterstützt aber eine klarere Einordnung der URLs.