Pourquoi déclarer le fichier robots.txt ?

un robotC’est un petit truc en passant parceque j’y pense :

Le fichier « robots.txt » est fichier utilisé par les moteurs de recherche pour connaître les ressources qui ne doivent pas être prises en compte. Il se place à la racine du site.

Exemple de fichier robots.txt

User-agent: * 
Disallow:

Ce petit bout de code autorise tous les robots à accéder à l’ensemble du site.

A noter que si ce fichier n’existe pas, les robots accèdent systématiquement à l’ensemble du site. D’autre part, les robots mal intentionnés ne lisent pas ce fichier et lisent également l’ensemble du site.

Ce bout de code peut être utilisé pour masquer de l’indexation certaines partie du site.

Par exemple :

User-agent: * 
Disallow: /clients

Dans cet exemple, le répertoire « clients » ne sera pas lu par les robots les plus courants (Google, Yahoo, Msn, Voila en France). Ceci est bien utile si vous souhaitez concerver l’anonymat dans les moteurs de votre clientèle…

Les principaux agents utilisateurs des robots

Tant qu’on y est, les principaux robots ont des petits noms :

« Googlebot » pour google
« Yahoo! Slurp » pour yahoo
« Msnbot » pour msn
« voilabot » pour voila

Vous pouvez donc exclure un répertoire pour un robot en particulier

Exemple :

User-agent: googlebot

Disallow: /clients

Pourquoi est-il utile de déclarer ce fichier « robots.txt » ?

Et bien… Tout d’abord, les appels des robots sur votre fichier va grossir votre fichier d’erreurs de logs apache.

Mais aussi, si votre serveur réalise une redirection sur une url non définie (http 404). Alors, les robots, lors de la lecture du fichier « robots.txt » seront renvoyés sur cette page.

Exemple sur les pages perso de wanadoo :

Les robots liront : « http://pagesperso-orange.fr/robots.txt » qui renvoie sur une page qui n’a rien à voir avec nos exemples de tout à l’heure… Les moteurs doivent les interpréter comme des paramêtres… donc c’est dangereux pour votre référencement.

Publicités

Laisser un commentaire

Entrez vos coordonnées ci-dessous ou cliquez sur une icône pour vous connecter:

Logo WordPress.com

Vous commentez à l'aide de votre compte WordPress.com. Déconnexion /  Changer )

Photo Google+

Vous commentez à l'aide de votre compte Google+. Déconnexion /  Changer )

Image Twitter

Vous commentez à l'aide de votre compte Twitter. Déconnexion /  Changer )

Photo Facebook

Vous commentez à l'aide de votre compte Facebook. Déconnexion /  Changer )

Connexion à %s

%d blogueurs aiment cette page :