Description: Tout savoir sur les machines qui visitent et indexent votre site internet afin d'optimiser vos pages in-site et off-site. L'attrape robots est un laboratoire SEO experimental.
robots (1015) bots (336) spiders (293) étude (226) labo (82) analyse comportementale (5) agents intelligents (4) laboratoire d'observation (1) parcours des bots (1) crawl des engins de recherche (1)
est un site d'experimentations sur les très nombreux moteurs qui parcourent le réseau à la recherche de données. Qu'ils soient executés sur de puissantes machines en cluster ou lançés d'ordinateurs poussifs, programmés pour une recherche bien précise ou généralistes, respectueux des normes d'exclusions ou non, les robots de recherche, ou bots, ou crawlers, ou spiders, ont la chance de bénéficier de plusieurs facteurs qui font qu'ils ne sont pas vraiment étudiés de près, ou en tous cas considérés sérieusemen
L'attrape robots site experimental va s'efforcer d'analyser avec le plus de précision et de méthode possible la venue et le cheminement de ces programmes informatiques, afin de dégager plusieurs groupes de bots, qui seront classés selon plusieurs critères.
Plusieurs cheminements bien identifiés seront proposés aux robots, chacun présentant des caractéristiques particulières, comme la typologie de fichiers employée, l'arborescence déployée, le poids des différentes pages, leurs encodages, l'analyse de leurs différents types de liens hypertextes...