L'utilité du fichier "robots"
Toutes les pages de votre site sont potentiellement "indexables".
C'est-à-dire que toutes les urls peuvent être enregistrées.
Toutefois, avec des FRAMES, des pages DYNAMIQUES, du FLASH oudes sites
marchands, il faut limiter le parcours des moteurs, leur interdire certaines
pages.
Rien de plus pénalisant que d'arriver sur un fragment de page !
Exemple : absence de menu, absence de bandeau, absence d'image, ...
Le visiteur doit impérativement arriver par la porte d'entrée
choisie
C'est quoi un fichier "robots"
Il se présente sous un format texte (d'où l'extension txt),
pèse moins de 1 Ko.
Il se positionne à la racine du site, sur le serveur.
Exemple : www.adcom.fr/robots.txt.
Il n'en faut qu'un, inutile d'en mettre dans chaque répertoire.
Quel est le contenu de ce fichier ?
Il faut indiquer ici les pages qui ne doivent pas être visitées
par les robots des moteurs. La syntaxe est :
# robots.txt pour le site http://www.adcom.fr
User-agent: *
Disallow: /noel/
Disallow: /prive/
La ligne "User-agent : *" indique que tous les moteurs sont
concernés.
La ligne "Disallow : /noel/" interdit l'accès des moteurs
à tout le répertoire noel, toutes les pages sous celui-ci
ne seront pas indexées.
Quelques règles de base
Vous pouvez interdire l'accès à certaines pages.
Vous pouvez interdire l'accès à tout le site.
Cette commande permet donc de bloquer certains accès.
Un retour chariot est nécessaire en fin de ligne de commande.
Le texte original en anglais est disponible à l'adresse
suivante :
www.robotstxt.org
Suite...
|