Lorsqu’on veut indexer un site au contenu important on est confronté successivement à deux problèmes :
- tant que le site n’est pas encore bien référencé, le robot d’indexation de google passe peu souvent et l’indexation est donc très lente.
- une fois que le site est bien référencé, l’apparition soudaine de grosses masses de contenu peut effrayer google (au mieux on allume des alarmes dans l’algorithme de google, au pire on risque le bac-a-sable)
lesfoodies.com a un contenu conséquent (plus de 15 000 pages), je vous livre les quelques pistes que j’ai suivi pour son indexation.
- mettre le site en ligne le plus tôt possible. Si vous êtes en phase de tests privée, trouvez un moyen de faire quand même indexer votre site. Dans mon cas, au lieu de mettre une simple page avec le message classique expliquant que l’accès au site est sur invitation seulement, j’ai laissé le site ouvert mais j’ai rajouté un <div> semi-transparent couvrant tout le site. On a un double avantage : google peut indexer tout le contenu et les visiteurs ont un aperçu du site, ce qui ajoute un effet « teasing ».
- Utiliser robot.txt pour guider le robot d’indexation de google. Tant que le site n’est pas bien référencé, google indexe les pages au compte goutte : mieux vaut le diriger vers les pages les plus importantes du site et éviter qu’il indexe celles qui sont secondaires. Par la suite il suffit de surveiller l’indexation par la commande site: et d’autoriser le reste du contenu par petits paquets. On évite ainsi de faire apparaître de grandes quantités de contenu d’un coup et de risquer des ennuis avec les algos anti index-spamming de google.
- Utiliser un fichier sitemap pour aider google à comprendre et indexer votre site. L’idéal est d’y définir finement les priorités des pages, mais cela peut s’avérer fastidieux lorsqu’on en a plusieurs milliers.
Bien sur le plus important pour être indexé rapidement reste d’acquérir un maximum de backlinks, mais ça, c’est un autre sujet…
Jeu de briques
Snake
Pacman
Bubble