21 avril 2008 


Accueil > Le blog des moteurs de recherche et du référencement >

Donnez la cadence aux robots de Live Search


Indication intéressante dans un post intitulé More Crawling Improvements from MSNBot sur le blog pour webmasters du moteur de recherche Live Search de Microsoft : vous pouvez indiquer, dans votre fichier robots.txt, la cadence à laquelle MSNBot, le spider de ce moteur, peut venir indexer vos pages.

Exemple pour un "crawl" lent (5 secondes entre chaque requête) :

Crawl-delay: 5

Ou très lent (10 secondes entre chaque requête) :

Crawl-delay: 10

Ainsi, si vos statistiques de trafic vous indiquent un crawl trop rapide du robot de Microsoft, vous pouvez, par cette voie, lui indiquer de "ralentir la cadence" pour ne pas pénaliser vos visiteurs et désengorger vos accès... Bien sûr, il ne faudra pas oublier que, du coup, il faudra plus de temps au robot pour parcourir toutes vos pages. Un bon équilibre est donc à prévoir...

Microsoft avait déjà proposé en février dernier des indications pour mieux contrôler la façon dont ses robots "aspirent" votre site...

Bookmarker dans : Scoopeo | Del.icio.us | Digg | Autres :   AddThis Social Bookmark Button

 

1 Commentaire(s) :

avec un bon vieux robot.txt, il y a moyen de carrément lui interdire la visite du site et donc, plus de crawling comme un fou et au niveau de la fréquentation du site, c'est quasiment identique. Qui a dit que ce moteur ne servait à rien ?

Poster un nouveau commentaire


 
<< Accueil
 

 


Quelques réflexions sur les moteurs de recherche et le référencement, infos sur le référencement à destination des webmasters, études, enquêtes sur les moteurs de recherche, etc.
 
feed xml
 
Lettre d'actualité
La lettre "Actu Moteurs" est hebdomadaire et gratuite. Abonnez-vous :

Rejoignez nos 70 000 abonnés (plus d'infos) depuis 1998 et recevez toute l'info sur les moteurs chaque semaine !

 
Les blogs d'Abondance
Abondance-Actu :
Toute l'actualité quotidienne des moteurs de recherche et du référencement.
Abondance-Info :
Quelques réflexions sur les moteurs de recherche et le référencement.
Abondance-Pro :
Le sommaire de la lettre professionnelle "Recherche et Référencement".
Abondance-Abonnés :
Le blog des abonnés payants.
 


http://www.wikio.fr
 

 
 Recherche sur le site Abondance :

Tout Abondance
Toute l'actu depuis 1998

 

Liens sponsorisés

 


 

Messages précédents

 
Recherche et Référencement : le numéro d'avril 200...
Référencement : infos (intéressantes) en vrac
36 datacenters pour Google dont un à Paris...
Faille de sécurité Wordpress et blacklist Google
Abondance est la source d'information préférée sur...
Le Ch'ti pas bienvenu chez Google ?
Etude : pages de résultats des moteurs et recherch...
Algorithme Google : Dewey fait des siennes...
Liens sponsorisés : statistiques et taux de transf...
Google News : mythes et réalités

 

Archives

 
septembre 2005
octobre 2005
novembre 2005
décembre 2005
janvier 2006
février 2006
mars 2006
avril 2006
mai 2006
juin 2006
juillet 2006
août 2006
septembre 2006
octobre 2006
novembre 2006
décembre 2006
janvier 2007
février 2007
mars 2007
avril 2007
mai 2007
juin 2007
juillet 2007
août 2007
septembre 2007
octobre 2007
novembre 2007
décembre 2007
janvier 2008
février 2008
mars 2008
avril 2008
mai 2008

Lettres d'actualité

 
Actu Moteurs : revue de presse hebdomadaire
Recherche & Référencement : lettre professionnelle mensuelle

L'actu des moteurs

 


Liens

 
Abondance.com
Réseau Abondance
Autres blogs sur les moteurs

 
Chercher sur le Web avec Mozbot :

Chercher sur :
Web international
Web francophone

 

Un site du Réseau Abondance (english version : Search Engine Tools) :
Information : Abondance - Forums Abondance - Boutique Abondance - Livre Référencement - Livre Google
Outils : Outiref - Visiref - Keyword Search Engine - Spider Simulator - Soumission-Manuelle - Flash Moteurs - Moklic
Divers / Jeux : Googlefight - Habitants - Googland - Grifil.com
Moteurs de recherche : Mozbot.fr - Mozbot.com - Mozbot.co.uk - Goossip - Motref - Rugby engine - Grifil.net - Biomalin - Foot Engine - SearchWings