Le fichier robots.txt

Pour permettre une bonne indexation de votre site Internet, il faut indéniablement :

• un contenu original et de qualité
• un maximum de liens pointant vers votre site
• un sitemap qui permet aux moteurs de recherche de connaître la structure exacte de votre site Internet.

En complément à ces éléments de bases incontournables, il est également utile de placer un fichier nommé robots.txt à la racine de votre site. En effet, c'est ce fichier que les crawlers des moteurs de recherche lisent AVANT de procéder à l'indexation d'un site Internet. C'est donc là que vous écrirez vos consignes afin que le site soit indexé comme vous le souhaitez :

• les moteurs que vous acceptez et ceux que vous refusez
• annoncer que telle partie de votre site est privée et ne doit pas être indexée (les dossier d’administration, par exemple)
• la vitesse à laquelle vous souhaitez que les moteurs indexent votre contenu
• l'endroit et ne nom de votre fichier sitemap

En plus de ces services, puisque seuls les robots accèdent à ce fichier, l'analyse des logs de connexion de ce fichier vous permettra de savoir à quel rythme les robots indexeurs visitent votre site.