Zum Inhalt springen

Linux Belgium

Nachrichten

Wie erleichtert eine Sitemap das Auffinden von Webseiten?

Ein E-Commerce-Shop veröffentlicht innerhalb einer Woche dreihundert neue Produktseiten. Zwei Wochen später ist die Hälfte davon immer noch nicht bei Google zu finden. Die …

Développeuse web pointant un diagramme de sitemap affiché sur un écran d'ordinateur dans un bureau moderne

Ein E-Commerce-Shop veröffentlicht innerhalb einer Woche dreihundert neue Produktseiten. Zwei Wochen später ist die Hälfte davon bei Google immer noch nicht zu finden. Die XML-Sitemap war vorhanden, die URLs waren darin aufgeführt und die robots.txt blockierte nichts. Das Problem lag zwischen Entdeckung und Indexierung – zwei Schritte, die oft verwechselt werden, aber unterschiedlichen Regeln folgen. Wer versteht, was eine Sitemap tatsächlich leistet und was nicht, kann solche Situationen vermeiden.

Seite in der Sitemap, aber nicht im Index: Diagnose in drei Schritten

Das ist das frustrierendste Szenario: Die URL steht in der Sitemap, die Google Search Console bestätigt, dass die Datei verarbeitet wurde, und trotzdem ist die Seite über eine site:-Abfrage nicht zu finden. Bevor man etwas ändert, muss man herausfinden, wo es hakt.

Entdeckung, Crawling und Indexierung sind drei getrennte Schritte. Die Sitemap unterstützt den ersten: Sie weist auf die Existenz einer URL hin. Das Crawling hängt anschließend davon ab, welches Crawl-Budget die Suchmaschine der Website zuweist und ob die Seite technisch erreichbar ist. Die Indexierung ist schließlich eine algorithmische Entscheidung, die auf der Qualität und Relevanz der Inhalte beruht.

Für eine fundierte Diagnose sind drei konkrete Prüfungen nötig:

  • Die URL in der Search Console oder den Bing Webmaster Tools prüfen. Der Bericht zeigt, ob die Seite entdeckt und gecrawlt wurde und ob sie indexiert oder ausgeschlossen wurde – einschließlich des genauen Grundes.
  • Die technischen Vorgaben auf der Seite selbst überprüfen: ein noindex-Tag, eine Weiterleitung, ein Canonical-Verweis auf eine andere URL oder eine Sperre in der robots.txt. Jeder dieser Faktoren kann den Prozess nach der Entdeckung unterbrechen.
  • Die interne Verlinkung kontrollieren. Eine verwaiste Seite erhält selbst dann, wenn sie in der Sitemap aufgeführt ist, nur ein schwaches Relevanzsignal. Suchmaschinen berücksichtigen interne Links, wenn sie entscheiden, welche Seiten sie zuerst crawlen.

Bei Bing lässt sich im Sitemap-Abdeckungsbericht genau zwischen bekannten und tatsächlich indexierten URLs unterscheiden. Die Differenz zwischen den beiden Spalten zeigt das Ausmaß des Problems unmittelbar.

Zum Beispiel kann man die Sitemap von Tech Planete aufrufen und den Aufbau einer Datei unter realen Bedingungen betrachten: die Hierarchie der URLs, die Aktualisierungshäufigkeit sowie das Vorhandensein oder Fehlen des lastmod-Tags.

SEO-Berater analysiert die auf einem Whiteboard skizzierte Website-Architektur in einem Coworking-Space

XML-Sitemap und Crawling: Was die Datei für Google konkret bewirkt

Eine Sitemap erzwingt keine Indexierung. Sie ist ein Verzeichnis, kein Befehl. Google liest sie, um URLs zu entdecken, die der Suchmaschine beim Folgen interner Links möglicherweise entgangen wären. Bei einer gut verlinkten Website mit wenigen Seiten bringt die Datei kaum einen Mehrwert. Bei einer umfangreichen Website mit tief verschachtelten oder neu angelegten Seiten beschleunigt sie die Entdeckung messbar.

Jede Sitemap-Datei kann bis zu 50 000 URLs enthalten, und ein Sitemap-Index kann auf bis zu 50 000 Dateien verweisen. Sehr große Websites – etwa Nachrichtenportale, E-Commerce-Shops oder Verzeichnisse – können so ihren gesamten Bestand an URLs angeben.

Die Rolle von lastmod bei der Priorisierung des Crawlings

Das lastmod-Tag gibt an, wann eine Seite zuletzt geändert wurde. Google erklärt, dass das Datum zur Planung erneuter Crawls bereits entdeckter URLs herangezogen wird – vorausgesetzt, es ist zuverlässig. Wird das Datum bei jeder Erstellung der Sitemap automatisch aktualisiert, ohne dass sich der Inhalt tatsächlich geändert hat, wird es irgendwann ignoriert.

Ein zuverlässiger lastmod-Wert beschleunigt das erneute Crawling aktualisierter Inhalte. Ein falscher lastmod-Wert schwächt das Vertrauen der Suchmaschine in die gesamte Datei. Das Datum sollte daher nur aktualisiert werden, wenn sich der Seiteninhalt tatsächlich geändert hat.

Google stellt den Sitemap-Ping ein

Seit dem 26. Juni 2023 hat Google seinen Benachrichtigungsmechanismus per Ping eingestellt. Die früheren Aufrufe der Ping-URL haben keine Wirkung mehr. Eine Sitemap lässt sich weiterhin auf zwei Wegen melden: über die Search Console oder durch einen Eintrag mit Sitemap: in der Datei robots.txt.

Bing bietet seinerseits IndexNow an, um über hinzugefügte, geänderte oder gelöschte URLs zu informieren. Das Protokoll ergänzt die Sitemap, ersetzt sie aber nicht: IndexNow meldet einzelne Änderungen, während die Sitemap das vollständige Verzeichnis bereitstellt. Microsoft weist darauf hin, dass eine erfolgreiche Benachrichtigung über IndexNow weder das Crawling noch die Indexierung garantiert.

Sitemap und interne Verlinkung: zwei ergänzende Mechanismen für die Suchmaschinenoptimierung

Man hört gelegentlich, eine Sitemap „ersetze“ eine gute interne Verlinkung. Das ist ein Fehler in der Praxis. Die Sitemap weist darauf hin, dass eine URL existiert. Ein interner Link überträgt Autorität und semantischen Kontext. Beide wirken auf unterschiedlichen Ebenen des Indexierungsprozesses.

Eine Seite ohne interne Links, die aber in der Sitemap steht, wird zwar entdeckt, jedoch selten priorisiert. Suchmaschinen werten fehlende interne Links als Zeichen geringer Bedeutung. Ist die Seite mit keiner anderen verknüpft, wird das Crawl-Budget für andere, zentraler eingestufte URLs verwendet.

In der Praxis nutzt man die Sitemap, um Lücken in der internen Verlinkung abzudecken:

  • Kürzlich veröffentlichte Seiten, auf die noch keine internen Links aus anderen Inhalten verweisen.
  • Tief verschachtelte Seiten, die nur über mehrere Navigationsebenen erreichbar sind (Paginierung, Filter, Archive).
  • Saisonale oder temporäre Inhalte, die keine dauerhafte Aufnahme in die Hauptstruktur rechtfertigen.

Die XML-Datei überträgt weder Popularität noch thematische Relevanz. Sie sagt: „Diese Seite existiert.“ Ein interner Link sagt: „Diese Seite ist in diesem Kontext wichtig.“ Bei mittelgroßen und großen Websites sind beide erforderlich.

Hände eines Entwicklers bearbeiten in einem Café eine XML-Sitemap-Datei auf einem Laptop

Die Übereinstimmung zwischen Sitemap und technischen Vorgaben prüfen

Eine häufige Falle: In der Sitemap stehen URLs, deren Crawling oder Indexierung die Website an anderer Stelle verhindert. Eine Seite aufzunehmen, die durch die robots.txt gesperrt, mit noindex gekennzeichnet oder per 301 auf eine andere URL weitergeleitet wird, sendet ein widersprüchliches Signal an die Suchmaschine.

Die Sitemap darf nur crawlbare, indexierbare und kanonische URLs enthalten. Vor jeder Einreichung sollte man prüfen, ob die aufgeführten URLs den Statuscode 200 zurückgeben, keine Ausschlussanweisung enthalten und nicht auf eine abweichende Canonical-URL verweisen.

Bei einem CMS wie WordPress nehmen Sitemap-Erweiterungen mitunter URLs von Mediendateien, Tag-Archivseiten oder internen Suchergebnissen auf. Diese URLs verbrauchen Crawl-Budget, ohne einen Mehrwert für den Index zu bieten. Wird die Datei regelmäßig bereinigt und werden solche überflüssigen Einträge ausgeschlossen, richtet sich die Aufmerksamkeit der Bots wieder stärker auf die wichtigen Seiten.

Die Sitemap bleibt ein einfacher, aber anspruchsvoller technischer Hebel: Sie funktioniert dann, wenn jede darin enthaltene URL es verdient, gecrawlt und indexiert zu werden, und keine technischen Vorgaben dieser Absicht widersprechen.

Wie erleichtert eine Sitemap das Auffinden von Webseiten?