Naar de inhoud

Linux Belgium

Nieuws

Hoe helpt een sitemap bij het ontdekken van webpagina’s?

Een e-commercesite publiceert in één week driehonderd nieuwe productpagina’s. Twee weken later is de helft nog steeds niet zichtbaar in Google. De…

Développeuse web pointant un diagramme de sitemap affiché sur un écran d'ordinateur dans un bureau moderne

Een e-commercesite publiceert in één week driehonderd nieuwe productpagina’s. Twee weken later staat de helft nog steeds niet in Google. Het XML-sitemapbestand bestond, de URL’s stonden erin en robots.txt blokkeerde niets. Het probleem zat tussen ontdekking en indexering: twee stappen die vaak met elkaar worden verward, maar volgens verschillende principes werken. Als je begrijpt wat een sitemap wel en niet doet, kun je dit soort situaties voorkomen.

Pagina staat in de sitemap, maar ontbreekt in de index: diagnose in drie stappen

Dit is het meest frustrerende scenario. De URL staat in de sitemap, Google Search Console bevestigt dat het bestand is verwerkt en toch is de pagina niet te vinden met een site:-zoekopdracht. Voordat je iets aanpast, moet je eerst achterhalen waar het proces vastloopt.

Ontdekking, crawlen en indexering zijn drie afzonderlijke schakels. De sitemap speelt een rol bij de eerste stap: hij meldt dat een URL bestaat. Het crawlen hangt vervolgens af van het crawlbudget dat de zoekmachine aan de site toekent en van de technische toegankelijkheid van de pagina. Indexering is ten slotte een algoritmische beslissing op basis van de kwaliteit en relevantie van de content.

Om de juiste diagnose te stellen, voer je drie concrete controles uit:

  • Inspecteer de URL in Search Console of Bing Webmaster Tools. Het rapport laat zien of de pagina is ontdekt, is gecrawld en is geïndexeerd of uitgesloten (met de precieze reden).
  • Controleer de technische richtlijnen op de pagina zelf: een noindex-tag, een omleiding, een canonical die naar een andere URL verwijst of een blokkade in robots.txt. Elk van deze elementen kan het proces na de ontdekking onderbreken.
  • Controleer de interne linkstructuur. Een weespagina krijgt, zelfs als die in de sitemap staat, een signaal van geringe relevantie. Zoekmachines houden rekening met interne links om te bepalen welke pagina’s ze als eerste crawlen.

In Bing kun je met het sitemapdekkingsrapport onderscheid maken tussen bekende URL’s en URL’s die daadwerkelijk zijn geïndexeerd. Het verschil tussen de twee kolommen geeft direct inzicht in het probleem.

Je kunt bijvoorbeeld de sitemap van Tech Planete bekijken om te zien hoe een bestand er in de praktijk uitziet: de URL-structuur, de updatefrequentie en de aanwezigheid of afwezigheid van de lastmod-tag.

SEO-consultant analyseert de op een whiteboard getekende architectuur van een website in een coworkingruimte

XML-sitemap en crawl: wat het bestand concreet verandert voor Google

Een sitemap dwingt geen indexering af. Het is een inventaris, geen opdracht. Google leest de sitemap om URL’s te ontdekken die het niet via de interne links van de site zou hebben gevonden. Op een goed intern gelinkte site met weinig pagina’s voegt het bestand vrijwel niets toe. Op een grote site met diep geneste of recent aangemaakte pagina’s versnelt het de ontdekking aantoonbaar.

Elk sitemapbestand kan maximaal 50 000 URL’s bevatten, en een sitemapindex kan naar maximaal 50 000 bestanden verwijzen. Zo kunnen zeer grote sites (nieuwssites, e-commerceplatforms en bedrijvengidsen) hun volledige aanbod opgeven.

De rol van lastmod bij het prioriteren van crawls

De lastmod-tag geeft aan wanneer een pagina voor het laatst is gewijzigd. Google geeft aan deze datum te gebruiken om nieuwe crawls van eerder ontdekte URL’s in te plannen, mits de datum betrouwbaar is. Als de datum automatisch wordt bijgewerkt telkens wanneer de sitemap wordt gegenereerd, zonder dat de content daadwerkelijk is gewijzigd, wordt deze uiteindelijk genegeerd.

Een betrouwbare lastmod versnelt het opnieuw crawlen van bijgewerkte content. Een onjuiste lastmod ondermijnt het vertrouwen van de zoekmachine in het hele bestand. Je doet er goed aan deze datum alleen bij te werken wanneer de content van de pagina daadwerkelijk is veranderd.

Google is gestopt met sitemap-pings

Sinds 26 juni 2023 heeft Google zijn meldingssysteem via pings afgeschaft. Oude verzoeken naar de ping-URL hebben geen effect meer. Je kunt een sitemap nog op twee manieren aanmelden: via Search Console en in het bestand robots.txt met een regel Sitemap:.

Bing biedt op zijn beurt IndexNow aan om nieuwe, gewijzigde of verwijderde URL’s te melden. Dit protocol is een aanvulling op de sitemap, geen vervanging: IndexNow meldt een afzonderlijke wijziging, terwijl de sitemap de volledige inventaris bevat. Microsoft benadrukt dat een geslaagde melding via IndexNow geen garantie biedt op crawlen of indexeren.

Sitemap en interne linkstructuur: twee aanvullende mechanismen voor SEO

Soms hoor je dat een sitemap een goede interne linkstructuur ‘vervangt’. Dat is een misvatting in de praktijk. De sitemap meldt dat een URL bestaat. Een interne link draagt autoriteit en semantische context over. Beide spelen een rol op een ander niveau van het indexeringsproces.

Een pagina zonder interne links die wel in de sitemap staat, wordt ontdekt, maar krijgt zelden prioriteit. Zoekmachines zien het ontbreken van interne links als een signaal van geringe relevantie. Als geen enkele andere pagina naar de pagina linkt, wordt het crawlbudget besteed aan andere URL’s die centraler lijken.

In de praktijk gebruik je de sitemap om blinde vlekken in de interne linkstructuur op te vangen:

  • Recent gepubliceerde pagina’s waarnaar nog geen interne links vanuit andere content verwijzen.
  • Diep geneste pagina’s die alleen bereikbaar zijn na meerdere navigatiestappen (paginering, filters, archieven).
  • Seizoensgebonden of tijdelijke content die geen permanente plek in de hoofdstructuur nodig heeft.

Het XML-bestand draagt geen populariteit of thematische relevantie over. Het zegt: ‘deze pagina bestaat’. Een interne link zegt: ‘deze pagina is belangrijk in deze context’. Op middelgrote en grote sites zijn beide nodig.

Handen van een ontwikkelaar die in een café een XML-sitemapbestand bewerkt op een laptop

De consistentie tussen sitemap en technische richtlijnen controleren

Een veelvoorkomende valkuil is dat URL’s in de sitemap staan die de site elders blokkeert voor crawlen of indexeren. Een pagina opnemen die door robots.txt wordt geblokkeerd, de tag noindex heeft of via een 301-omleiding naar een andere URL verwijst, komt neer op het versturen van tegenstrijdige signalen naar de zoekmachine.

De sitemap mag alleen URL’s bevatten die crawlbaar, indexeerbaar en canoniek zijn. Controleer vóór elke indiening of de vermelde URL’s een 200-statuscode retourneren, geen uitsluitingsrichtlijn bevatten en niet naar een andere canonical verwijzen.

Bij een CMS zoals WordPress nemen sitemapplug-ins soms ook URL’s op van mediabestanden, tagarchieven of interne zoekresultaten. Deze URL’s verspillen crawlbudget zonder waarde toe te voegen aan de index. Door het bestand regelmatig op te schonen en deze overbodige vermeldingen uit te sluiten, richt je de aandacht van crawlers weer op de pagina’s die ertoe doen.

De sitemap blijft een eenvoudig maar veeleisend technisch hulpmiddel: hij werkt wanneer elke URL erin het waard is om gecrawld en geïndexeerd te worden, en wanneer geen enkele technische richtlijn die bedoeling tegenspreekt.

Hoe helpt een sitemap bij het ontdekken van webpagina’s?