Le rôle d’une agence de référencement naturel est de travailler à positionner le plus haut possible dans les SERPs les pages d’un site internet sur un maximum de mots-clés. Plus le crawl d’un site sera efficace, meilleure sera l’indexation des url ; et donc le référencement global du site.
Budget crawl
Nous l’avons vu dans notre article sur l’indexation dans Google, le crawl budget est une notion importante à maîtriser en SEO pour bien référencer son site internet. L’objectif est d’inciter le robot de Google à venir régulièrement crawler les pages d’un site, et d’en indexer un maximum.
Plus le crawl budget sera bon, plus le site sera régulièrement exploré et plus on a de chances de voir les pages indexées par le moteur. En effet, pour référencer un site internet, les robots des moteurs de recherche parcourent les pages web et suivent les liens qui s’y trouvent afin de découvrir de nouvelles pages. Un moteur de recherche peut faire plusieurs crawls par jour sur un même site.
GoogleBot intègre tous les types de ressources dans son calcul du crawl budget : fichiers javaScript, PDF, images, etc. Plus les pages web sont légères et faciles à charger, plus le budget d’exploration affecté sera important.
Le budget de crawl va dépendre de deux facteurs : le taux de crawl et la demande de crawl.
Taux de crawl
Le taux de crawl correspond au nombre d’URL que GoogleBot peut crawler simultanément ou pendant son passage sur notre site. L’objectif du spider est de visiter un maximum de pages sans utiliser trop de bande passante disponible. Cela ralentirait en effet la navigation pour les internautes, et risquerait de créer une expérience utilisateur négative.
Crawl Demand
La demande de crawl correspond au nombre d’URL que Google accepte de crawler, selon un rythme qu’il détermine. Si le robot estime que le site a un fort intérêt par rapport aux pages déjà présentes, il voudra explorer davantage de pages que si le site ne propose que des contenus de mauvaise qualité (spam, contenus dupliqués…). Plusieurs facteurs peuvent affecter la demande de crawl : fraîcheur des contenus, popularité du site, temps de chargement, etc.
Comment améliorer le crawl d’un site internet ?
Si on compare un site vitrine qui a 10 pages à une boutique e-commerce affichant plus de 10 000 produits et 50 catégories ; le crawl sera plus difficile pour le second. Il y aura donc beaucoup plus d’optimisations à faire pour améliorer le taux de crawl.
Pour favoriser l’indexation d’un site web, il faut améliorer son crawl budget au maximum. Chaque ressource optimisée améliore l’expérience utilisateur ainsi que les chances d’être mieux exploré et indexé par GoogleBot.
Il convient d’éviter certaines pratiques, ou du moins bien les maîtriser. Google en a fourni une liste, non exhaustive.
- Navigation à facettes (url avec des paramètres dans des pages avec filtres).
- Identification de session (url identiques, mais avec un paramètre de session variable).
- Contenu dupliqué intra site.
- Pages d’erreurs « softs 404 » (pages qui renvoient un code 200, donc sans erreur, alors qu’il s’agit d’une vraie page d’erreur).
- Pages copiées, piratées, contenus de mauvaise qualité et spams.
- Fichiers JavaScript et CSS trop nombreux.
Plus le crawl de votre site par les moteurs sera facilité, plus l’indexation des pages sera efficace. Vous pourrez également analyser les performances de votre site dans la Google Search Console et Google Analytics.