Un site e-commerce publie trois cents nouvelles fiches produits en une semaine. Deux semaines plus tard, la moitié n’apparaît toujours pas dans Google. Le fichier sitemap XML existait, les URL y figuraient, et le robots.txt ne bloquait rien. Le problème se situait entre la découverte et l’indexation, deux étapes que l’on confond souvent mais qui obéissent à des logiques distinctes. Comprendre ce que le sitemap fait réellement, et ce qu’il ne fait pas, permet d’éviter ce type de situation.
Page dans le sitemap mais absente de l’index : diagnostic en trois étapes
C’est le scénario le plus frustrant. L’URL apparaît dans le sitemap, Google Search Console confirme que le fichier a été traité, et la page reste introuvable avec une requête site:. Avant de modifier quoi que ce soit, on doit localiser le blocage.
Découverte, exploration et indexation sont trois maillons séparés. Le sitemap intervient sur le premier : il signale l’existence d’une URL. L’exploration (crawl) dépend ensuite du budget que le moteur accorde au site et de l’accessibilité technique de la page. L’indexation, enfin, est une décision algorithmique fondée sur la qualité et la pertinence du contenu.
Pour poser le bon diagnostic, on passe par trois vérifications concrètes :
- Inspecter l’URL dans Search Console ou Bing Webmaster Tools. Le rapport indique si la page a été découverte, si elle a été explorée, et si elle a été indexée ou exclue (avec le motif précis).
- Vérifier les directives techniques sur la page elle-même : balise
noindex, redirection, canonical pointant vers une autre URL, ou blocage dans le robots.txt. Chacun de ces éléments peut couper la chaîne après la découverte. - Contrôler le maillage interne. Une page orpheline, même listée dans le sitemap, reçoit un signal de faible importance. Les moteurs tiennent compte des liens internes pour décider quoi explorer en priorité.
Chez Bing, le rapport de couverture du sitemap permet justement de distinguer les URL connues de celles effectivement indexées. Cet écart entre les deux colonnes donne une mesure directe du problème.
On peut par exemple consulter le sitemap de Tech Planete pour observer la structure d’un fichier en conditions réelles : hiérarchie des URL, fréquence de mise à jour, présence ou absence de la balise lastmod.
Sitemap XML et crawl : ce que le fichier change concrètement pour Google
Le sitemap ne force pas l’indexation. C’est un inventaire, pas un ordre. Google le lit pour découvrir des URL qu’il n’aurait pas trouvées en suivant les liens internes du site. Sur un site bien maillé avec peu de pages, le fichier n’apporte presque rien. Sur un site volumineux, avec des pages profondes ou récemment créées, il accélère la découverte de façon mesurable.
Chaque fichier sitemap peut lister jusqu’à 50 000 URL, et un index de sitemaps peut référencer jusqu’à 50 000 fichiers. Les très grands sites (presse, e-commerce, annuaires) peuvent ainsi déclarer la totalité de leur inventaire.
Le rôle de lastmod dans la priorisation du crawl
La balise lastmod indique la date de dernière modification d’une page. Google précise qu’il utilise cette date pour planifier le recrawl des URL déjà découvertes, à condition qu’elle soit fiable. Une date mise à jour automatiquement à chaque génération du sitemap, sans modification réelle du contenu, finit par être ignorée.
Un lastmod fiable accélère le recrawl des contenus mis à jour. Un lastmod mensonger dégrade la confiance du moteur dans l’ensemble du fichier. On a tout intérêt à ne mettre à jour cette date que lorsque le contenu de la page a réellement changé.
Fin du ping de sitemap chez Google
Depuis le 26 juin 2023, Google a supprimé son mécanisme de notification par ping. Les anciens appels à l’URL de ping n’ont plus aucun effet. Pour signaler un sitemap, il reste deux voies : la Search Console et la déclaration dans le fichier robots.txt via une ligne Sitemap:.
Bing, de son côté, propose IndexNow pour notifier l’ajout, la modification ou la suppression d’URL. Ce protocole complète le sitemap sans le remplacer : IndexNow signale un changement ponctuel, le sitemap fournit l’inventaire complet. Microsoft précise qu’une notification réussie via IndexNow ne garantit ni l’exploration ni l’indexation.
Sitemap et maillage interne : deux mécanismes complémentaires pour le référencement
On entend parfois que le sitemap « remplace » un bon maillage interne. C’est une erreur opérationnelle. Le sitemap signale qu’une URL existe. Le lien interne transmet de l’autorité et du contexte sémantique. Les deux agissent à des niveaux différents du processus d’indexation.
Une page sans lien interne mais présente dans le sitemap sera découverte, rarement priorisée. Les moteurs interprètent l’absence de liens internes comme un signal de faible importance. Si la page n’est liée par aucune autre, le crawl budget sera consacré à d’autres URL jugées plus centrales.
En pratique, on utilise le sitemap pour couvrir les angles morts du maillage :
- Pages récemment publiées qui n’ont pas encore reçu de liens internes depuis d’autres contenus.
- Pages profondes accessibles uniquement après plusieurs niveaux de navigation (pagination, filtres, archives).
- Contenus saisonniers ou temporaires qui ne justifient pas une intégration permanente dans l’arborescence principale.
Le fichier XML ne transmet ni popularité ni pertinence thématique. Il dit « cette page existe ». Le lien interne dit « cette page compte dans ce contexte ». Les deux sont nécessaires sur un site de taille moyenne ou grande.
Vérifier la cohérence entre sitemap et directives techniques
Un piège fréquent consiste à lister dans le sitemap des URL que le site empêche d’explorer ou d’indexer par ailleurs. Inclure une page bloquée par le robots.txt, marquée noindex, ou redirigée en 301 vers une autre URL revient à envoyer un signal contradictoire au moteur.
Le sitemap ne doit contenir que des URL explorables, indexables et canoniques. Avant chaque soumission, on vérifie que les URL listées renvoient un code 200, ne portent pas de directive d’exclusion et ne pointent pas vers une canonical différente.
Sur un CMS comme WordPress, les extensions de sitemap incluent parfois des URL de fichiers médias, des pages d’archives de tags ou des résultats de recherche interne. Ces URL diluent le crawl budget sans apporter de valeur à l’index. Un nettoyage régulier du fichier, en excluant ces entrées parasites, recentre l’attention des robots sur les pages qui comptent.
Le sitemap reste un levier technique simple mais exigeant : il fonctionne quand chaque URL qu’il contient mérite d’être explorée et indexée, et quand aucune directive technique ne vient contredire cette intention.
