Laut Google gibt es keine Menge an nicht indizierten Seiten, die sich negativ auf das Crawl-Budget einer Website auswirkt.
Das Search Relations Team von Google bestätigt, dass sich nicht indizierte Seiten nicht negativ auf das Crawl-Budget einer Website auswirken, unabhängig davon, wie viele eine Website hat.
Dieses Thema wird nicht nur einmal, sondern gleich dreimal in der Novemberausgabe 2022 der SEO-Sprechstunde von Google angesprochen.
Die Google-Suchbeauftragten John Mueller und Gary Illyes beantworten abwechselnd drei ähnliche Fragen von Leuten, die sich Sorgen machen, dass sie zu viele nicht indizierte Seiten auf ihren Websites haben.
Aus den Antworten von Mueller und Illyes erfahren wir, dass es so etwas wie „zu viele“ indexierte Seiten nicht gibt. Solange Ihre Website nicht mehr als eine Million Seiten hat, brauchen Sie sich auch keine Sorgen über das Crawl-Budget zu machen.
Hier eine kurze Zusammenfassung der einzelnen Fragen und Antworten.
Frage 1: Übermäßig viele indizierte Seiten
Um 8:23 Uhr in der Google-Sprechstunde vom November 2022 geht Illyes auf eine Frage ein, ob eine „übermäßige“ Anzahl indizierter Seiten ein Problem für die Entdeckung oder die Indizierung darstellt.
Laut Illyes ist noindex ein Werkzeug, das Websites dabei hilft, Inhalte von Suchmaschinen fernzuhalten. Google fördert die Verwendung des noindex-Tags, wenn dies notwendig ist, und aus diesem Grund sind damit keine negativen Auswirkungen verbunden.
Noindex“ ist ein sehr leistungsfähiges Werkzeug, das von den Suchmaschinen unterstützt wird, um Ihnen, dem Eigentümer der Website, zu helfen, Inhalte aus ihren Indizes herauszuhalten. Aus diesem Grund hat es keine unbeabsichtigten Auswirkungen auf das Crawling und die Indexierung. Wenn beispielsweise viele Seiten mit noindex versehen sind, hat das keinen Einfluss darauf, wie Google Ihre Website crawlt und indiziert.“
Frage 2: Verhältnis der indizierten/nicht indizierten Seiten
Die folgende Frage wird um 10:22 Uhr gestellt:
„Sollten wir das Verhältnis zwischen indizierten und nicht indizierten Seiten in Search Console im Auge behalten, um möglicherweise verschwendetes Crawl-Budget auf nicht indizierten Seiten besser zu erkennen?“
Mueller widerlegt, dass Websites versuchen sollten, ein Gleichgewicht zwischen ihren indizierten und nicht indizierten Seiten herzustellen.
Zu diesem Zweck ist das Crawl-Budget ein Faktor, über den sich nur wenige Websites Gedanken machen müssen, sagt Mueller:
„Nein, es gibt kein magisches Verhältnis, auf das man achten muss. Außerdem müssen Sie sich bei einer nicht riesigen Website mit weniger als einer Million Seiten keine Gedanken über das Crawl-Budget Ihrer Website machen. Es ist in Ordnung, unnötige interne Links zu entfernen, aber für kleine bis mittelgroße Websites ist das eher ein Thema der Website-Hygiene als ein SEO-Thema.“
Frage 3: Nicht indizierte Seiten, die von spammigen Seiten verlinkt sind
Bei Minute 11:26 wird eine Frage zu nicht indizierten Seiten gestellt, die sich von den beiden vorherigen leicht unterscheidet.
Die Frage lautet:
„Viele SEOs beschweren sich darüber, dass in der Google Search Console Millionen von URLs als ausgeschlossen markiert sind. Es handelt sich dabei um unsinnige interne Suchseiten, die von spammigen Websites verlinkt sind. Ist das ein Problem für das Crawl-Budget?“
Ilyes bekräftigt den bereits erwähnten Punkt, dass noindex ein Werkzeug für Websites ist, das sie nach Bedarf einsetzen können.
Wenn die Seiten absichtlich nicht indiziert sind, brauchen Sie sich keine Sorgen zu machen, dass die Search Console sie markiert. Das bedeutet nicht, dass Sie etwas falsch machen.
Illyes erklärt:
„Noindex ist dazu da, Dinge aus dem Index herauszuhalten, und es hat keine unbeabsichtigten negativen Auswirkungen, wie wir bereits sagten. Wenn Sie sicherstellen wollen, dass diese Seiten bzw. deren URLs nicht im Google-Index landen, verwenden Sie weiterhin noindex und machen Sie sich keine Gedanken über das Crawl-Budget.“
https://youtu.be/TepFVYrBVg0