Google indexera via les Flux RSS/Atom

Publié le 30 octobre 2009 par Actualitesreferencement

Nous savions depuis longtemps que Google utilise principalement les liens hypertextes pour faire naviguer son Googlebot dans le but d’indexer plus d’URL. Si cela ne changera pas, le Blog Google Webmaster Central nous apprend toutefois dans un court billet que Google utilisera également des Flux RSS/Atom pour dénicher de nouveaux sites Web toujours plus rapidement.

Google annonce avoir lancé il y a peu une nouvelle application qui lui permet d’indexer de nouveaux sites en parcourant ses Flux RSS. La firme américaine justifie cette évolution en mettant en avant l’importance qu’on pris depuis plusieurs années les Flux RSS dans la publication de contenus sur le Web.

En procédant ainsi, Google renouvelle ses méthodes traditionnelles de crawling pour l’indexation des pages Web et espère rendre celles ci plus rapides et plus réactives. Cette indexation via les flux RSS pourra être possible grâce à des lecteurs de Flux comme Google Reader, qui vérifie constamment les nouvelles publications parues sur les blogs ou sites.

Google Webmaster Central rappelle aux webmasters qu’il faut veiller à ce que l’exploration de ces fichiers RSS ne soit pas bloquée par le robots.txt.

Cette évolution des méthodes d’indexation de Google permet de faire un triple constat. Tout d’abord, générer un sitemap pour son site sera moins indispensable pour que Google indexe toutes les pages. Deuxième constat, la présence d’un Flux RSS/Atom sur votre site ou blog deviendra quasi obligatoire si vous voulez son indexation rapide. Enfin, il est possible que l’attente pour observer les résultats du référencement d’un site soit raccourcie, à condition évidemment que le site dispose d’un Flux RSS.