vendredi 16 novembre 2007
|
Le vendredi 16 novembre 2007
(English
version - machine translation) par Olivier Andrieu
Une étude menée par la Pennsylvania State University, et nommée "Determining Bias to Search Engines from Robots.txt", sur les fichiers "robots.txt" de 7 500 sites web montre que les webmasters avantagent aujourd'hui fortement les spiders de Google. Ses robots (Googlebot) sont en effet listés bien plus souvent dans ces fichiers que ceux de ses concurrents.
Selon cette étude, 93,8% des fichiers robots.txt inspectés contiennent une "règle de conduite" pour tous les robots, quels qu'ils soient. 72,4% en mentionnent aumoins une pour un spider particulier, avec une forte prédominence pour Google, puis viennent Yahoo!, Live Search/Msn et Altavista :
http://www.personal.psu.edu/users/y/u/yus115/docs/sun_robotstxtbias.pdf
Source : Pennsylvania State University">Pennsylvania State University
Articles connexes sur ce site :
- Le fichier Robots.txt (mai 2007)
- Google analyse votre fichier robots.txt (7 février 2006)
- Exalead se rallie au standard Sitemap (20 juin 2007)
- Comment dé-référencer un site web ? (mars 2005)
Toutes les pages du réseau Abondance pour la requête robots.txt...
1 Commentaires :
Rappelons ici que les liens insérés dans vos
commentaires sont en 'rel=nofollow' et ne sont donc ni suivis ni interprétés
par les moteurs de recherche...
|
![]() |
Retrouvez ici toute l'actualité des moteurs
de recherche majeurs et du référencement en France et dans
le Monde, jour après jour : nouveautés, rachats, nouveaux
moteurs, nouvelles fonctions, nouvelles annonces, nouveaux outils, etc.
|
La loi générale de la nature a encore parlé : le lion Google est en train de manger tout crus ses petits camarades.