mercredi 20 février 2008 


Accueil > Actualité des moteurs de recherche et du référencement >

Del.icio.us bloque les moteurs

Envoyer a un ami Version imprimable    

Un développeur web du nom de Colin Cochrane a remarqué cette semaine que le site de "bookmarking social" Del.icio.us, propriété de Yahoo!, bloquait les spiders des moteurs de recherche au travers de son fichiers robots.txt selon l'intitulé suivant :

Disallow: /inbox
Disallow: /subscriptions
Disallow: /network
Disallow: /search
Disallow: /post
Disallow: /login
Disallow: /rss

En gros, la plupart des répertoires importants du site sont interdits à ces spiders... Dont celui de Yahoo!. Et, effectivement, une recherche effectuée sur le site Del.icio.us (avec la syntaxe "site:del.icio.us") sur Google, pour les pages indexées sur les 7 derniers jours, ne donne que des liens sans version cache ni résumé, indiquant que les documents n'ont pas encore été indexés par le moteur de recherche :

Del.icio.us bloque les spiders de Google
Source : Abondance


La raison est certainement que Yahoo! intègre désormais les résultats de Del.icio.us dans ses résultats de recherche, offrant ainsi un avantage concurrentiel par rapport aux autres moteurs de recherche, et qu'il n'a aucune envie que ces derniers fassent la même chose en indexant les pages de son site...

http://del.icio.us/

Source :
del.icio.us Bans Search Engine Spiders (Colin Cochrane)
Yahoo Blocking Bots from Spidering Delicious Bookmarks (Search Engine Journal)

Articles connexes sur ce site :

- Yahoo! teste Del.icio.us dans ses pages de résultats (21 janvier 2008)
- Le référencement social au centre des préoccupations (16 mai 2007)

Toutes les pages du réseau Abondance pour la requête delicious...

Wikio

2 Commentaires :

Rappelons ici que les liens insérés dans vos commentaires sont en 'rel=nofollow' et ne sont donc ni suivis ni interprétés par les moteurs de recherche...

[parenthèse]
Tiens je ne connaissais pas la
fonction de google sur le délai... j'ai essayé avec mon site (collectionnix.com) et cela n'est pas très cohérent... pas de résultat dans les 7, 14 , 31 derniers jours... juste dans les 6 derniers mois et avec des dates dans les 15 derniers jours...
Est-ce que ce module est réellement au point ou est-ce moi qui ait du mal ?
[/parenthèse]

Bizarre : les URLs bloquées ne sont pas celles où sont enregistrés les liens, l'organisation principale de Delicious étant del.icio.us/Compte/Tag (avec Compte étant l'identifiant personnel et Tag le tag voulu) ou del.icio.us/Tag (avec quelques Tags réservés, "popular" par exemple)
Si confirmés (je n'ai pas vérifié) les tests de l'auteur montrent donc autre chose, le robot.txt ne faisant qu'empêcher l'indexation des répertoires administratifs.

Poster un nouveau commentaire


<< Accueil
 


Retrouvez ici toute l'actualité des moteurs de recherche majeurs et du référencement en France et dans le Monde, jour après jour : nouveautés, rachats, nouveaux moteurs, nouvelles fonctions, nouvelles annonces, nouveaux outils, etc.
 
feed xml
 
Wikio
 
Pour tout savoir sur le livre "Réussir son référencement web, 2ème édition" (Eyrolles, novembre 2009), consultez le site Livre Référencement !

 
Lettre d'actualité
La lettre "Actu Moteurs" est hebdomadaire et gratuite. Abonnez-vous :

Rejoignez nos 70 000 abonnés (plus d'infos) depuis 1998 et recevez toute l'info sur les moteurs chaque semaine !

 
Les blogs d'Abondance
Abondance-Actu :
Toute l'actualité quotidienne des moteurs de recherche et du référencement.
Abondance-Info :
Quelques réflexions sur les moteurs de recherche et le référencement.
Abondance-Pro :
Le sommaire de la lettre professionnelle "Recherche et Référencement".
Abondance-Abonnés :
Le blog des abonnés payants.
 



 
 Recherche sur le site Abondance :

Tout Abondance
Toute l'actu depuis 1998


 

 

Messages précédents

 
Google : 1 page web sur 1000 est infectée par des ...
Yahoo! va lancer son Digg-Like
Espace : Google attaqué pour Google Earth Sky, Mic...
Google teste les liens sponsorisés vidéo dans ses ...
Microsoft Live se réorganise, Steve Berkowitz part...
Yahoo! continue sa réflexion et discute avec News ...
Google fête la Saint Valentin
Bradley Horowitz, de Yahoo! à Google
Google lance un concours de création de Doodle
La barre d'outils de Google remplace les pages 404...

 

Archives

 
juillet 2007
août 2007
septembre 2007
octobre 2007
novembre 2007
décembre 2007
janvier 2008
février 2008
mars 2008
avril 2008
mai 2008
juin 2008
juillet 2008
août 2008
septembre 2008
octobre 2008
novembre 2008
décembre 2008
janvier 2009
février 2009
mars 2009
avril 2009
mai 2009
juin 2009
juillet 2009
août 2009
septembre 2009
octobre 2009
novembre 2009
décembre 2009
janvier 2010
février 2010

 

Lettres d'actualité

 
Actu Moteurs : revue de presse hebdomadaire (gratuite)
Recherche & Référencement : lettre professionnelle mensuelle (payante)

 
Chercher sur le Web avec Mozbot :

Chercher sur :
Web international
Web francophone
Un site du Réseau Abondance (english version : Search Engine Tools) :
Information : Abondance - Goossip - Forums Abondance - Boutique Abondance - Livre Référencement
Outils : Outiref - Visiref - Keyword Search Engine - Spider Simulator - Soumission-Manuelle - Flash Moteurs - Moklic
Divers / Jeux : Googlefight - Googland - Klevener
Moteurs de recherche : Mozbot.fr - Mozbot.com - Mozbot.co.uk - Motref - Grifil.net - Biomalin - Foot Engine - SearchWings
Applicatifs du site Abondance réalisés par les sociétés Brioude Internet Référencement et Iseom