Définition
Les moteurs de recherche utilisent des logiciels pour parcourir internet
et alimenter leurs bases. Ces logiciels sont appelés des "
robots "
Ces outils " lisent " vos pages et les enregistrent, les indexent
selon différents critères propres à chacun d'eux.
Comment les connaitre ?
Ces robots, en arrivant sur votre site, laissent une empreinte sur votre
serveur dans le fichier log. Leur passage est repérable par une
"signature" propre à chacun.
Exemple : altavista a nommé entre autre "
mercator " un de ses robots.
Pour inktomi c'est " slurp ", "googlebot" pour google,
etc.
Qui utilise des robots ?
En premier lieu, les moteurs tels que Altavista, Google, fast, hotbot,
Voila, ...
Mais nous remarquons désormais d'autres familles, telles que :
- les systèmes de veille (surveillance de pages)
- les robots universitaires en phase de tests
- des sociétés privés pour alimenter des extranet
ou intranet
- des organismes publics, gouvernementaux de surveillance
- des robots aspirateurs d'adresses mail
Voici une liste non-exaustive des principaux
robots connus :
Classement par outils
|
|
Classement par robots
|
Abacho |
AbachoBOT
|
|
AbachoBOT |
Abacho
|
Alexa |
Ia_archiver
|
|
Almaden |
IBM
|
Altavista |
Scooter
|
|
Antibot |
Antisearch
|
Alltheweb |
Overture-WebCrawler
|
|
Arachnoidea |
Euroseek
|
Antisearch |
Antibot
|
|
ArchitextSpider |
Excite
|
AtomZ |
Atomz
|
|
Asterias |
Singingfish
|
Excite |
ArchitextSpider
|
|
Atomz |
AtomZ
|
Euroseek |
Arachnoidea
|
|
Fluffy the spider |
Search Hippo
|
Google |
Googlebot
|
|
Googlebot |
Google
|
IBM |
Almaden
|
|
HenryTheMiragoRobot |
Mirago
|
Inktomi |
Slurp
|
|
Ia archiver |
Alexa
|
Infoseek |
UltraSeek
|
|
Lycos Spider (T-Rex) |
Lycos
|
Looksmart |
MantraAgent
|
|
MantraAgent |
Looksmart
|
Lycos |
Lycos Spider (T-Rex)
|
|
MsnBot |
Msn
|
Mirago |
HenryTheMiragoRobot
|
|
Overture WebCrawler |
Alltheweb
|
Msn |
MsnBot
|
|
Psbot |
Picsearch
|
Picsearch |
Psbot
|
|
Scooter |
Altavista
|
Search Hippo |
Fluffy the spider
|
|
Slurp |
Inktomi
|
Singingfish |
Asterias
|
|
Teoma agent1 |
Teoma
|
Teoma |
Teoma agent1
|
|
UltraSeek |
Infoseek
|
Wisenut |
ZyBorg
|
|
ZyBorg |
Wisenut
|
|