C'est quoi un robot ?
Les moteurs de recherche utilisent des logiciels pour parcourir internet
et alimenter leurs bases. Ces logiciels sont appelés des "robots".
Ces outils "lisent" vos pages, les enregistrent et les indexent
selon différents critères propres à chacun d'eux.
Comment les connaitre ?
Ces robots, en arrivant sur votre site, laissent une empreinte sur votre
serveur dans le fichier log. Leur passage est repérable par une
"signature" propre à chacun.
-Exemples : Altavista a nommé entre autre "mercator "
un de ses robots.
Pour Inktomi c'est " slurp ", "googlebot" pour Google,
etc.
Qui utilise des robots ?
En premier lieu, les moteurs tels que Google, Altavista, Fast, Hotbot.
Mais nous remarquons désormais d'autres familles, telles que :
- les systèmes de veille (surveillance
de pages)
- les robots universitaires en phase de tests
- des sociétés privées pour alimenter des extranet
ou intranet
- des organismes publics, gouvernementaux, de surveillance
- des robots aspirateurs d'adresses mails.
Pour compléter :
Le dossier sur les principaux robots
d'indexation
Suite : Logiciels et applicatifs
|