Accueil > Le blog des moteurs de recherche et du référencement >
Donnez la cadence aux robots de Live Search
 Indication intéressante dans un post intitulé More Crawling Improvements from MSNBot sur le blog pour webmasters du moteur de recherche Live Search de Microsoft : vous pouvez indiquer, dans votre fichier robots.txt, la cadence à laquelle MSNBot, le spider de ce moteur, peut venir indexer vos pages.
Exemple pour un "crawl" lent (5 secondes entre chaque requête) :
Crawl-delay: 5
Ou très lent (10 secondes entre chaque requête) :
Crawl-delay: 10
Ainsi, si vos statistiques de trafic vous indiquent un crawl trop rapide du robot de Microsoft, vous pouvez, par cette voie, lui indiquer de "ralentir la cadence" pour ne pas pénaliser vos visiteurs et désengorger vos accès... Bien sûr, il ne faudra pas oublier que, du coup, il faudra plus de temps au robot pour parcourir toutes vos pages. Un bon équilibre est donc à prévoir...
Microsoft avait déjà proposé en février dernier des indications pour mieux contrôler la façon dont ses robots "aspirent" votre site...
1 Commentaire(s) :
|
![]() |
Quelques réflexions sur les moteurs de recherche et le référencement, infos sur le référencement à destination des webmasters, études, enquêtes sur les moteurs de recherche, etc.
La lettre "Actu
Moteurs" est hebdomadaire et gratuite.
Abonnez-vous :
Rejoignez nos 70 000 abonnés (plus
d'infos) depuis 1998 et recevez toute l'info sur les moteurs
chaque semaine ! |
 |
 |
|
 Abondance-Actu :
Toute l'actualité quotidienne des moteurs de recherche et du référencement.
Abondance-Info :
Quelques réflexions sur les moteurs de recherche et le référencement.
Abondance-Pro :
Le sommaire de la lettre professionnelle "Recherche et Référencement".
Abondance-Abonnés :
Le blog des abonnés payants.
|
|
 |
 |
| Recherche sur le site Abondance : |
|
|
Liens sponsorisés
Messages précédents
Archives
Lettres d'actualité
| |
|
 |
| : revue de presse hebdomadaire |
|
| : lettre professionnelle mensuelle |
L'actu des moteurs
Liens
Chercher sur le Web avec
 :
|
|
Scoopeo | 
Del.icio.us | 
Digg | Autres :
avec un bon vieux robot.txt, il y a moyen de carrément lui interdire la visite du site et donc, plus de crawling comme un fou et au niveau de la fréquentation du site, c'est quasiment identique. Qui a dit que ce moteur ne servait à rien ?