Malgré son importance, la phase de crawl fait partie de ces notions à classer parmi les moins « grand public » dans le domaine du SEO. Et cela a du sens : il s’agit de l’une des optimisations SEO les plus orientées vers les robots. Pourtant, améliorer la phase de crawl est un moyen comme un autre d’optimiser son SEO !
Dans cet article, nous aborderons ce qu’est la phase de crawl et pourquoi les référenceurs poussent à s’y pencher.
La phase de crawl, qu’est-ce que c’est ?
Pour rester dans des termes simples, il s’agit de la toute première phase du processus de positionnement.
En effet, lorsque vous créez une nouvelle page sur votre site, celle-ci doit d’abord se faire analyser par les bots, dont Googlebot fait partie. Ces robots de Google, appelés Spiders, vont analyser cette page sous toutes ses coutures afin de se renseigner sur le contenu proposé.
C’est seulement après cette étape de crawl que la page sera indexée par le moteur de recherche et que ce contenu pourra être trouvé par une simple requête.
Quelle est l’influence du crawl sur le référencement d’un site web ?
Parmi les questions souvent posées : à quoi peut servir d’avoir une phase de crawl bien optimisée ? Est-ce un problème si Google prend plus de temps à scanner mon site que celui de mon concurrent ?
Ces interrogations sont parfaitement légitimes !
Pour y répondre, il faut bien se rendre compte que Google (comme les autres moteurs de recherche) n’a pas des ressources illimitées. Les robots qu’il emploie ne peuvent pas passer un temps infini sur votre seul site web. Il est limité en crédit temps à accorder à votre domaine.
Qu’il ait eu le temps de scanner 1 ou 100 pages, à la fin du temps alloué à vos contenus, le robot s'arrête et se dirige vers un autre site.
Cela est aussi un bon moyen pour Google de forcer les webmasters à mettre en œuvre ses recommandations. Vous ne suivez pas les règles du premier moteur de recherche mondial ? Votre crawl budget s’en verra alors rapidement diminué !
Optimiser son budget de crawl signifie que les robots d’indexation prendront un minimum de temps pour scanner un maximum de pages de votre site web.
Concrètement, cela signifie plusieurs choses :
- Un bon crawl budget vous permet d’être plus réactif puisque vos nouveaux contenus prendront moins de temps avant d’apparaître sur les SERPs ;
- Un bon crawl budget permet aussi d’améliorer votre positionnement sur les SERPs. C’est logique : si vous êtes le premier à proposer un contenu optimisé pour une requête liée à un sujet nouveau, vous allez être placé en premier lieu sur les SERPs… à condition que ce contenu soit rapidement traité par le moteur de recherche !
Pour connaître l'état de votre crawl, utilisez un analyseur de log : Log File Analyzer de Semrush est très utile pour connaître le nombre de pages explorées par Google !
Comment optimiser le crawl budget ?
Il existe heureusement plusieurs moyens très simples d’améliorer sa phase de crawl.
Optimiser le maillage interne et la structure du site
Il s’agit du levier le plus important à traiter. En effet, non seulement cette optimisation permet à votre site de mieux accueillir les robots d’indexation, mais elle vous évite aussi des problèmes de référencement très graves.
Comment ces robots se déplacent-ils sur votre site ? Ils empruntent les mêmes voies que les humains : les liens !
Ainsi, des soucis de netlinking comme les pages orphelines posent problème. Il s’agit de pages qui ne sont reliées à aucune autre, de manière naturelle. Pour les visiter, un humain doit taper ou coller son URL sur la barre de recherche de son navigateur.
Les robots ne vont pas se donner cette peine : si une page est inaccessible de manière naturelle depuis la page d’accueil, vous pouvez dire adieu au positionnement de celle-ci sur les SERPs, ainsi qu’à tout le trafic qu’elle aurait pu vous apporter !
Vérifiez qu’aucune page orpheline n’est présente sur votre site ! Si tel est le cas, modifiez le maillage interne pour qu’au moins un lien amène à cette page.
Vérifiez aussi la profondeur de cette page : plus le nombre de clics nécessaires pour atteindre une page est grand, moins celle-ci aura de chance d’être considérée comme importante par les robots d’indexation (il en est de même pour vos visiteurs !).
Si cette page n’est pas importante, envisagez de la supprimer ou d’en interdire l’accès par les robots via le fichier robots.txt. Réfléchissez bien à l’importance de chacune de vos pages, et à la manière dont celles-ci sont raccordées à votre page d’accueil.
Pour identifier rapidement les pages orphelines d’un site web, vous pouvez utiliser un outil de crawl comme Semrush et son Audit de site.
Cet outil vous permet de visualiser un potentiel décalage entre le nombre de pages dans le fichier sitemap et le nombre de pages réellement explorées. De la même manière, l’outil indique la profondeur des différentes pages scrutées.
L'outil Audit de site de Semrush propose des représentations visuelles permettant de connaître en un clin d'œil l'état de l'indexabilité de votre site.
Améliorer la vitesse d’exploration
Comment faire pour améliorer la vitesse d’exploration et d’indexation de mon site web ?
Les robots d’indexation ont besoin d’accéder à vos pages pour les « lire ». A partir de là, un site lent sera un élément bloquant qui peut se traduire par une perte massive de budget de crawl.
Pour optimiser la vitesse de son site web, plusieurs solutions s’offrent à vous. Elles diffèrent en fonction de vos besoins. Les problèmes les plus courants proviennent généralement des images trop lourdes et d’une mauvaise gestion de la mise en cache. Il vous suffit alors d’adopter un plugin de cache efficace, et d’uploader des images compressées au préalable.
Pour des informations plus personnalisées sur la vitesse de chargement de vos pages web, n’hésitez pas à les soumettre au Page Speed Insights : l’outil de test de rapidité des pages web de Google.
La rapidité de son site web est, de plus en plus, un enjeu SEO. L'impact de la lenteur du site est énorme, y compris dans le calcul de votre budget de crawl.
Autre point permettant d’accélérer la vitesse d’exploration : la priorisation des éléments. Les robots d’indexation n’ont pas besoin de connaître tous les éléments de vos pages pour les classer sur les SERPs.
Les images de décoration, par exemple, sont parfaitement inutiles pour votre stratégie SEO. Empêchez donc les robots de les charger via un fichier robots.txt : pas la peine de les faire analyser quelque chose qu’ils ne pourraient pas comprendre !
Vous n’êtes pas certain d’avoir un fichier robots.txt ? Dans votre barre de navigateur, tapez simplement votre domaine racine et ajoutez « /robots.txt » : si vous voyez un fichier texte, c’est que vous en avez un. Sinon, il vous faudra le créer.
Suivez notre guide pour résoudre les problèmes d’indexabilité en cas de besoin.
Comment augmenter son budget de crawl ?
Quels moyens permettent d’augmenter votre budget crawl ? Comme toujours, il ne s’agit pas de techniques permettant d’améliorer votre SEO directement, mais plutôt de directives qui, si elles sont suivies, pourront inciter Google à agir de façon favorable sur votre référencement naturel.
Augmenter la fréquence de mise à jour
C’est assez paradoxal, mais pour améliorer votre crawl budget, il faut donner encore plus de travail à Googlebot !
En effet, diminuer au plus court le temps entre deux mises à jour de votre site est l’un des facteurs clés permettant d’améliorer son budget de crawl. Attention, il ne s’agit pas simplement de modifier deux ou trois mots pour que les spiders considèrent que votre site a du nouveau contenu à proposer.
En revanche, proposer du contenu plus souvent aide énormément ! Ainsi, soyez toujours à l’écoute des nouvelles qui font réagir les lecteurs dans votre branche d’expertise, et proposez sans attendre votre propre analyse.
Certains types de contenus peuvent vous aider à augmenter la fréquence de mise à jour de votre site. Les contenus constituant des rendez-vous réguliers en sont un bon exemple : proposez toutes les semaines un article de type « la revue de presse » ou encore « l’infographie de la semaine ».
Cela a un effet double : vous fidélisez votre lectorat, mais aussi les robots d’indexation !
Dernier conseil : ne laissez pas tomber vos anciens contenus. Un moyen tout simple pour proposer des mises à jour régulières est de réactualiser vos anciens articles.
On page SEO Checker de Semrush peut vous aider à identifier des contenus qui peuvent être améliorés. Quitte à proposer des mises à jour de votre contenu, autant corriger ces problèmes sur d'anciens contenus, non ?
Traiter des sujets chauds
Autre technique pour augmenter son budget crawl : traiter des sujets chauds. En effet, les sites web qui proposent des contenus chauds affichent plus souvent un budget crawl optimisé. Par contenus chauds, on entend tous les sujets faisant beaucoup réagir sur une période donnée, mais condamnés à ne créer aucun trafic après cette même période.
Il est logique que Google alloue plus de budget de crawl à ce genre de site journalistique : la réactivité est cruciale pour eux. En faisant de même, vous devriez gagner les mêmes bénéfices !
Attention toutefois : cette technique n’est à conseiller qu’aux seuls sites qui sont légitimes. Il vaut bien mieux proposer à Google des contenus longs et explicatifs s’il s’agit de la norme dans votre domaine plutôt qu’une multitude de sujets d’actualités si votre domaine ne repose pas sur l’actu.
Optimiser la phase de crawl de son site revient à dérouler le tapis rouge aux bots d’indexation de Google : vous augmentez très fortement vos chances d’être bien vu par ces derniers ! Ces modifications sont généralement conseillées aux sites de taille moyenne à grande. Les petits sites ont souvent assez de budget de crawl dès lors qu’ils publient du contenu très régulièrement.
En revanche, optimiser sa phase de crawl quand on est un plus gros site est obligatoire pour être performant.