Module n°1 du référencement web : Les robots
Je vous présente le premier module dédié au référencement de votre site Internet. J’ai décidé de commencer par le fichier destiné aux robots qui scrutent le réseau à la recherche de pages web à indexer.
Créez un fichier texte qui sera nommé “robots.txt” (sans les guillemets) et collez le à la racine de votre site Internet, au même endroit que votre fichier index.
Puis éditez le et ajoutez les lignes suivantes:
User-Agent: *
Allow: /
Enregistrez ce fichier robots.txt et voilà le tour est joué!
Explications sur ce fichier robots.txt:
User-Agent correspond aux robots que nous autorisons à consulter notre site web.
* signifie tous les robots. Mais vous pouvez très bien spécifier uniquement les robots qui vous intéressent. Par exemple: Googlebot pour Google, MSNBot pour Microsoft, Yahoo! Slurp pour Yahoo, VoilaBot pour Voila, etc… Vous trouverez une liste des robots sur le site de user-agents.org.
Allow correspond à ce que nous autorisons à être visiter par les robots.
/ signifie que nous autorisons les robots à analyser l’ensemble de nos fichiers, dossiers et sous-dossiers contenus dans notre site web.
Si par exemple, vous avez un dossier nommé Test et que vous ne souhaitez pas qu’il soit indexé, vous devez ajouter dans votre fichier robots.txt la ligne suivante:
Disallow: /Test
Attention: cette ligne doit se situer avant celle contenant Allow. En effet, le fichier robots.txt est lu ligne par ligne par les robots.
Vous pouvez retrouver l’exemple du fichier robots.txt ici.
Tags: Référencement Web, robots