Zum Inhalt springen

Frédéric Matty

Web, logiciels et culture numérique

Wie Sie eine Website mit einer gut organisierten Sitemap effizient erkunden

Eine XML-Sitemap meldet Suchmaschinen URLs, aber eine gemeldete URL wird nicht automatisch gecrawlt oder indexiert. Google weist ausdrücklich darauf hin …

Femme consultant un plan de site imprimé sur un bureau en bois dans un bureau à domicile organisé

Eine XML-Sitemap meldet Suchmaschinen URLs, aber eine gemeldete URL wird nicht automatisch gecrawlt oder indexiert. Google stellt dies in seiner Dokumentation klar: Die Datei ist ein Signal, keine Anweisung. Wer von dieser Erkenntnis ausgeht, gestaltet und nutzt eine Sitemap anders.

Sitemap und Crawling-Bericht abgleichen, um verwaiste Seiten zu erkennen

Eine verwaiste Seite ist eine URL, die in der Sitemap steht, auf die aber kein interner Link verweist. Crawler entdecken sie in der XML-Datei, besuchen sie manchmal und lassen sie dann wieder fallen, weil ihr in der Website-Architektur Relevanzsignale fehlen.

Um solche Seiten zu finden, exportieren wir die vollständige Sitemap-Liste und gleichen sie anschließend mit dem Bericht zu internen Links ab, den ein Crawler wie Screaming Frog, Sitebulb oder ein vergleichbares Tool erstellt. Jede URL, die in der Sitemap steht, aber nicht als Ziel mindestens eines internen Links auftaucht, ist faktisch verwaist.

Der Crawling-Bericht der Search Console liefert eine zusätzliche Informationsebene. Eine URL mit dem Status „Gefunden – zurzeit nicht indexiert“ oder „Gecrawlt – zurzeit nicht indexiert“, die zugleich in der Sitemap steht, weist auf ein Problem mit der internen Verlinkung oder dem wahrgenommenen Mehrwert hin. Wenn die Sitemap von Finance Technique Hunderte von URLs enthält, lassen sich mit einem solchen Abgleich schnell diejenigen finden, die trotz ihrer Meldung unsichtbar bleiben.

Die Lösung besteht nicht darin, die Sitemap erneut einzureichen. Stattdessen sollten kontextbezogene interne Links von bereits gecrawlten und indexierten Seiten hinzugefügt werden.

Mann analysiert eine hierarchische Sitemap auf einem großen Bildschirm in einem modernen Großraumbüro

Eine XML-Sitemap auf tatsächlich nützliche URLs ausrichten

Alle URLs einer Website in die Sitemap aufzunehmen, ist ein häufiger Fehler. Paginierungsseiten, Facettenfilter, interne Suchergebnisse oder Tags-Seiten mit wenig Inhalt verwässern das Signal an den Crawler.

Kriterien für die Auswahl von URLs

  • Die Seite liefert den HTTP-Statuscode 200 und wird weder durch die robots.txt noch durch ein noindex-Tag blockiert. Eine URL mit dem Statuscode 301 oder 404 in der Sitemap verursacht unnötiges Crawling.
  • Die Seite bietet eigenständige Inhalte, die sich nicht mit denen einer anderen URL der Website überschneiden. Sortier- und Filtervarianten werden ausgeschlossen.
  • Die Seite erhält organischen Traffic oder sollte ihn erhalten. Wenn sie weder auf eine Zielanfrage ausgerichtet ist noch eine Funktion in der internen Verlinkung erfüllt, gehört sie nicht in die Datei.

Eine kürzere Sitemap, die ausschließlich strategische URLs enthält, erzielt bessere Ergebnisse als eine vollständige Datei. So kann der Crawler sein Crawl-Budget den wichtigen Seiten widmen.

Das Feld lastmod: zuverlässig oder ignoriert?

Google kann das Tag lastmod berücksichtigen, wenn das Datum eine tatsächliche Änderung am Inhalt widerspiegelt. Werden bei jeder automatischen Erstellung der Datei alle Datumsangaben aktualisiert, verliert dieses Signal seine Wirkung. Empfehlenswert ist, lastmod nur dann zu ändern, wenn sich der Text oder die Struktur der Seite wesentlich geändert hat.

Die Tags changefreq und priority werden von Google ignoriert. Bing vertritt dieselbe Position. Es bringt nichts, Zeit in ihre Konfiguration zu investieren. Als einziges verwertbares Metadatum bleibt lastmod – vorausgesetzt, es ist korrekt.

Sitemap und IndexNow: zwei sich ergänzende Mechanismen für Bing

Eine am 31. Juli 2025 veröffentlichte Empfehlung von Bing erläutert, wie Sitemap und IndexNow zusammenspielen. Die Sitemap dient als dauerhaftes Verzeichnis der URLs. IndexNow benachrichtigt in Echtzeit, wenn eine Seite erstellt oder geändert wird.

Die beiden Protokolle ersetzen einander nicht. Für eine Website, auf der täglich mehrere Inhalte veröffentlicht werden, lohnt sich die Implementierung von IndexNow, damit Bing und kompatible Suchmaschinen neue Seiten verarbeiten können, ohne den nächsten Sitemap-Crawl abzuwarten. Die Sitemap bleibt die grundlegende Referenz, die regelmäßig aufgerufen wird, um das Gesamtverzeichnis zu überprüfen.

IndexNow verkürzt die Zeit zwischen Veröffentlichung und Berücksichtigung durch die Suchmaschine. Bei einer Sitemap allein muss dagegen der vom Crawler festgelegte Crawling-Rhythmus abgewartet werden.

Zwei Kollegen arbeiten in einem Besprechungsraum gemeinsam an einer Website-Sitemap auf einem Laptop

HTML-Sitemap: Nutzen für interne Verlinkung und Crawling

Eine HTML-Sitemap – eine Seite mit Links zu den wichtigsten Bereichen der Website – erfüllt eine andere Funktion als die XML-Datei. Sie richtet sich gleichermaßen an Nutzer und Crawler.

Ihr technischer Nutzen liegt in der internen Verlinkung. Eine HTML-Sitemap, die über den Footer oder das Menü erreichbar ist, verlinkt jeden Bereich der ersten Ebene. Für Crawler bietet sie einen alternativen Einstieg zu Website-Bereichen, die über die Hauptnavigation möglicherweise nur schlecht angebunden sind.

Bei einer kleineren Website mit einer soliden internen Verlinkung kann Google Seiten auch ohne Sitemap entdecken. Die HTML-Sitemap dient dann vor allem als Navigationshilfe für Besucher. Bei einer umfangreichen Website oder einer Architektur mit tief verschachtelten Silos ergänzt sie die XML-Sitemap um eine zusätzliche Ebene interner Links.

Regelmäßig prüfen, ob Sitemap und tatsächlicher Zustand der Website übereinstimmen

Eine Sitemap ist keine Datei, die einmal erstellt und dann vergessen werden sollte. Jede gelöschte Seite, jede Weiterleitung und jeder neue Inhalt verändert die Abweichung zwischen Datei und tatsächlichem Zustand der Website.

  • Monatlich prüfen, ob die Sitemap URLs mit dem Statuscode 404 oder einer 301-Weiterleitung enthält. Solche Einträge verbrauchen Crawl-Budget, ohne einen Nutzen zu bringen.
  • Die Anzahl der URLs in der Sitemap mit der Anzahl der in der Search Console indexierten URLs vergleichen. Eine deutliche Abweichung – mehr URLs in der Sitemap als im Index – weist auf ein Qualitäts- oder Verlinkungsproblem hin.
  • Kontrollieren, ob die lastmod-Daten tatsächlichen Änderungen entsprechen. Ein Skript, das das lastmod-Datum mit dem Datum der letzten Inhaltsänderung in der Datenbank vergleicht, automatisiert diese Prüfung.

Die Abweichung zwischen gemeldeten und indexierten URLs ist der wichtigste Indikator für den Zustand einer Sitemap. Wenn die meisten gemeldeten URLs nicht indexiert sind, liegt das Problem nicht an der Datei, sondern an der Architektur oder den Inhalten.

Eine gut gepflegte Sitemap ist nach wie vor ein unterschätzter technischer Hebel. Ihr Wert liegt nicht darin, dass sie überhaupt existiert, sondern in ihrer sorgfältigen Aktualisierung und ihrer Übereinstimmung mit der internen Verlinkung. Ohne diese Disziplin wird die XML-Datei zu einem Verzeichnis, das von der Realität der Website losgelöst ist – und Suchmaschinen behandeln sie schließlich auch so.

Wie Sie eine Website mit einer gut organisierten Sitemap effizient erkunden