Malgré son importance, la phase de crawl fait partie de ces notions à classer parmi les moins « grand public » dans le domaine du SEO. Et cela a du sens : il s’agit de l’une des optimisations SEO les plus orientées vers les robots. Pourtant, améliorer la phase de crawl est un moyen comme un autre d’optimiser son SEO !

Dans cet article, nous aborderons ce qu’est la phase de crawl et pourquoi les référenceurs poussent à s’y pencher.

La phase de crawl, qu’est-ce que c’est ?

Pour rester dans des termes simples, il s’agit de la toute première phase du processus de positionnement.

En effet, lorsque vous créez une nouvelle page sur votre site, celle-ci doit d’abord se faire analyser par les bots, dont Googlebot fait partie. Ces robots de Google, appelés Spiders, vont analyser cette page sous toutes ses coutures afin de se renseigner sur le contenu proposé. 

C’est seulement après cette étape de crawl que la page sera indexée par le moteur de recherche et que ce contenu pourra être trouvé par une simple requête. 

Quelle est l’influence du crawl sur le référencement d’un site web ?

Parmi les questions souvent posées : à quoi peut servir d’avoir une phase de crawl bien optimisée ? Est-ce un problème si Google prend plus de temps à scanner mon site que celui de mon concurrent ?

Ces interrogations sont parfaitement légitimes !

Pour y répondre, il faut bien se rendre compte que Google (comme les autres moteurs de recherche) n’a pas des ressources illimitées. Les robots qu’il emploie ne peuvent pas passer un temps infini sur votre seul site web. Il est limité en crédit temps à accorder à votre domaine. 

Qu’il ait eu le temps de scanner 1 ou 100 pages, à la fin du temps alloué à vos contenus, le robot s'arrête et se dirige vers un autre site.

Cela est aussi un bon moyen pour Google de forcer les webmasters à mettre en œuvre ses recommandations. Vous ne suivez pas les règles du premier moteur de recherche mondial ? Votre crawl budget s’en verra alors rapidement diminué !

Optimiser son budget de crawl signifie que les robots d’indexation prendront un minimum de temps pour scanner un maximum de pages de votre site web. 

Concrètement, cela signifie plusieurs choses :

  • Un bon crawl budget vous permet d’être plus réactif puisque vos nouveaux contenus prendront moins de temps avant d’apparaître sur les SERPs ;
  • Un bon crawl budget permet aussi d’améliorer votre positionnement sur les SERPs. C’est logique : si vous êtes le premier à proposer un contenu optimisé pour une requête liée à un sujet nouveau, vous allez être placé en premier lieu sur les SERPs… à condition que ce contenu soit rapidement traité par le moteur de recherche !

Pour connaître l'état de votre crawl, utilisez un analyseur de log : Log File Analyzer de Semrush est très utile pour connaître le nombre de pages explorées par Google !

Comment optimiser le crawl budget ?

Il existe heureusement plusieurs moyens très simples d’améliorer sa phase de crawl.

Optimiser le maillage interne et la structure du site

Il s’agit du levier le plus important à traiter. En effet, non seulement cette optimisation permet à votre site de mieux accueillir les robots d’indexation, mais elle vous évite aussi des problèmes de référencement très graves.

Comment ces robots se déplacent-ils sur votre site ? Ils empruntent les mêmes voies que les humains : les liens !

Ainsi, des soucis de netlinking comme les pages orphelines posent problème. Il s’agit de pages qui ne sont reliées à aucune autre, de manière naturelle. Pour les visiter, un humain doit taper ou coller son URL sur la barre de recherche de son navigateur. 

Les robots ne vont pas se donner cette peine : si une page est inaccessible de manière naturelle depuis la page d’accueil, vous pouvez dire adieu au positionnement de celle-ci sur les SERPs, ainsi qu’à tout le trafic qu’elle aurait pu vous apporter !

Vérifiez qu’aucune page orpheline n’est présente sur votre site ! Si tel est le cas, modifiez le maillage interne pour qu’au moins un lien amène à cette page. 

Vérifiez aussi la profondeur de cette page : plus le nombre de clics nécessaires pour atteindre une page est grand, moins celle-ci aura de chance d’être considérée comme importante par les robots d’indexation (il en est de même pour vos visiteurs !). 

Si cette page n’est pas importante, envisagez de la supprimer ou d’en interdire l’accès par les robots via le fichier robots.txt. Réfléchissez bien à l’importance de chacune de vos pages, et à la manière dont celles-ci sont raccordées à votre page d’accueil.

Pour identifier rapidement les pages orphelines d’un site web, vous pouvez utiliser un outil de crawl comme Semrush et son Audit de site

Cet outil vous permet de visualiser un potentiel décalage entre le nombre de pages dans le fichier sitemap et le nombre de pages réellement explorées. De la même manière, l’outil indique la profondeur des différentes pages scrutées.

L'outil Audit de site de Semrush propose des représentations visuelles permettant de connaître en un clin d'œil l'état de l'indexabilité de votre site.

Améliorer la vitesse d’exploration

Comment faire pour améliorer la vitesse d’exploration et d’indexation de mon site web ? 

Les robots d’indexation ont besoin d’accéder à vos pages pour les « lire ». A partir de là, un site lent sera un élément bloquant qui peut se traduire par une perte massive de budget de crawl

Pour optimiser la vitesse de son site web, plusieurs solutions s’offrent à vous. Elles diffèrent en fonction de vos besoins. Les problèmes les plus courants proviennent généralement des images trop lourdes et d’une mauvaise gestion de la mise en cache. Il vous suffit alors d’adopter un plugin de cache efficace, et d’uploader des images compressées au préalable.

Pour des informations plus personnalisées sur la vitesse de chargement de vos pages web, n’hésitez pas à les soumettre au Page Speed Insights : l’outil de test de rapidité des pages web de Google.

La rapidité de son site web est, de plus en plus, un enjeu SEO. L'impact de la lenteur du site est énorme, y compris dans le calcul de votre budget de crawl.

Autre point permettant d’accélérer la vitesse d’exploration : la priorisation des éléments. Les robots d’indexation n’ont pas besoin de connaître tous les éléments de vos pages pour les classer sur les SERPs. 

Les images de décoration, par exemple, sont parfaitement inutiles pour votre stratégie SEO. Empêchez donc les robots de les charger via un fichier robots.txt : pas la peine de les faire analyser quelque chose qu’ils ne pourraient pas comprendre !

Vous n’êtes pas certain d’avoir un fichier robots.txt ? Dans votre barre de navigateur, tapez simplement votre domaine racine et ajoutez « /robots.txt » : si vous voyez un fichier texte, c’est que vous en avez un. Sinon, il vous faudra le créer. 

Suivez notre guide pour résoudre les problèmes d’indexabilité en cas de besoin.

Comment augmenter son budget de crawl ?

Quels moyens permettent d’augmenter votre budget crawl ? Comme toujours, il ne s’agit pas de techniques permettant d’améliorer votre SEO directement, mais plutôt de directives qui, si elles sont suivies, pourront inciter Google à agir de façon favorable sur votre référencement naturel.

Augmenter la fréquence de mise à jour

C’est assez paradoxal, mais pour améliorer votre crawl budget, il faut donner encore plus de travail à Googlebot !

En effet, diminuer au plus court le temps entre deux mises à jour de votre site est l’un des facteurs clés permettant d’améliorer son budget de crawl. Attention, il ne s’agit pas simplement de modifier deux ou trois mots pour que les spiders considèrent que votre site a du nouveau contenu à proposer. 

En revanche, proposer du contenu plus souvent aide énormément ! Ainsi, soyez toujours à l’écoute des nouvelles qui font réagir les lecteurs dans votre branche d’expertise, et proposez sans attendre votre propre analyse.

Certains types de contenus peuvent vous aider à augmenter la fréquence de mise à jour de votre site. Les contenus constituant des rendez-vous réguliers en sont un bon exemple : proposez toutes les semaines un article de type « la revue de presse » ou encore « l’infographie de la semaine ». 

Cela a un effet double : vous fidélisez votre lectorat, mais aussi les robots d’indexation !

Dernier conseil : ne laissez pas tomber vos anciens contenus. Un moyen tout simple pour proposer des mises à jour régulières est de réactualiser vos anciens articles.

On page SEO Checker de Semrush peut vous aider à identifier des contenus qui peuvent être améliorés. Quitte à proposer des mises à jour de votre contenu, autant corriger ces problèmes sur d'anciens contenus, non ?

Traiter des sujets chauds

Autre technique pour augmenter son budget crawl : traiter des sujets chauds. En effet, les sites web qui proposent des contenus chauds affichent plus souvent un budget crawl optimisé. Par contenus chauds, on entend tous les sujets faisant beaucoup réagir sur une période donnée, mais condamnés à ne créer aucun trafic après cette même période.

Il est logique que Google alloue plus de budget de crawl à ce genre de site journalistique : la réactivité est cruciale pour eux. En faisant de même, vous devriez gagner les mêmes bénéfices !

Attention toutefois : cette technique n’est à conseiller qu’aux seuls sites qui sont légitimes. Il vaut bien mieux proposer à Google des contenus longs et explicatifs s’il s’agit de la norme dans votre domaine plutôt qu’une multitude de sujets d’actualités si votre domaine ne repose pas sur l’actu.

Optimiser la phase de crawl de son site revient à dérouler le tapis rouge aux bots d’indexation de Google : vous augmentez très fortement vos chances d’être bien vu par ces derniers ! Ces modifications sont généralement conseillées aux sites de taille moyenne à grande. Les petits sites ont souvent assez de budget de crawl dès lors qu’ils publient du contenu très régulièrement. 

En revanche, optimiser sa phase de crawl quand on est un plus gros site est obligatoire pour être performant.

Author Photo
Olivier AmiciJe suis en charge du développement marketing pour le marché Français et Francophone, de l’organisation des événements en ligne, des partenariats marketing/éducatifs, de la chaîne YouTube et du blog Semrush France.
More about SEO
Sous-domaine et sous-répertoire : qu'est-ce qui est le mieux pour le SEO ?L‘un des plus grands débats qui anime le SEO est celui des partisans du sous-domaine et du sous-répertoire. Dans ce guide, nous voulons dissiper la confusion et aider à répondre aux questions à ce sujet. Nous allons nous plonger dans les considérations liées au SEO que vous devez prendre en compte pour chacun de ces choix et indiquer les cas où il est le plus judicieux d‘utiliser telle ou telle option.
14 min read
10 moyens d'améliorer votre SEO en 2021 (et de booster votre classement)Avec plus de 3,5 milliards de recherches Google par jour, pour être suffisamment bien classé et que d‘éventuels visiteurs tombent sur votre contenu, vous devrez respecter les règles du moteur n°1. L‘un des meilleurs moyens d’utiliser pleinement votre contenu est d‘améliorer vos efforts d’optimisation pour les moteurs de recherche (SEO).
17 min read
Employee advocacy ou l’art de faire parler ses collaborateursL’employee advocacy est un concept qui vise à s’appuyer sur les collaborateurs volontaires d’une entreprise pour relayer la parole de cette dernière sur leurs canaux de communication personnels (souvent ce sont les réseaux sociaux). De cette manière, le collaborateur devient ambassadeur de son entreprise et lui permet d’amplifier son message auprès de l’audience de son employé.
5 min read
Google Web Stories : un boost pour votre trafic ?Les Web Stories sont la version web des stories que l’on connaît déjà depuis plusieurs années avec Snapchat et d‘autres réseaux sociaux. Il s’agit donc d’un format qui n’est pas totalement inconnu des internautes : un format court, en plein écran, optimisé pour le mobile, mais aussi visible sur Desktop. Elles peuvent être amenées à jouer un rôle majeur pour votre référencement.
9 min read
More articles about SEO Technique
Un sitemap HTML permet aux robots des moteurs de recherche de trouver et de classer facilement les nouvelles pages de votre site, ce qui améliore le classement SEO. Le sitemap ne se contente pas d'énumérer les pages de votre site.

SEO Technique

7 min read

Le sitemap HTML : ses avantages pour le référencement et les utilisateurs

Un sitemap HTML permet aux robots des moteurs de recherche de trouver et de classer facilement les nouvelles pages de votre site, ce qui améliore le classement SEO. Le sitemap ne se contente pas d‘énumérer les pages de votre site. Il contient également des informations sur chacune d‘elles, telles que la date de création et de dernière mise à jour, ainsi que sa pertinence par rapport aux autres pages.
Olivier AmiciApr 08, 2021
Qu'est-ce que le HTTPS

SEO Technique

13 min read

Qu'est-ce que le HTTPS : le guide complet sur le fonctionnement du HTTPS

HTTPS veut dire HyperText Transfer Protocol Secure (protocole de transfert hypertextuel sécurisé), et c‘est la version chiffrée du HTTP. Dans cet article, nous allons plonger dans l‘opposition entre le HTTP et le HTTPS, je détaillerai leur fonctionnement, et je vous montrerai comment faire en sorte que votre site survive à tout problème technique lorsque vous migrez d‘un protocole à l‘autre.
Olivier AmiciFeb 03, 2021
Comment soumettre une URL

SEO Technique

14 min read

Comment soumettre une URL ou un site web à des moteurs de recherche comme Google, Yahoo ou Bing

Si votre site n‘est pas dans l‘index de Google, il ne pourra pas être trouvé lorsqu‘un utilisateur effectuera une recherche. Dans ce guide, vous apprendrez comment soumettre votre site à Google et à d‘autres moteurs de recherche (Bing, Yahoo, Yandex et DuckDuckGo), et vous verrez d‘autres façons de faire en sorte que les moteurs le découvrent.
Jason BarnardFeb 01, 2021
La recherche sémantique

SEO Technique

16 min read

La recherche sémantique : comment impacte-t-elle vos résultats SEO ?

La recherche sémantique permet d‘obtenir des résultats de recherche de meilleure qualité et plus pertinents. Elle ajoute une nouvelle couche de complexité au SEO, nécessitant une nouvelle approche des tâches comme la recherche de mots clés et l‘optimisation du contenu. Dans ce guide, nous vous expliquons en détail ce que c‘est et comment cela fonctionne.
Olivier AmiciNov 23, 2020
Réalisation d'un audit SEO

SEO Technique

20 min read

Comment réaliser un audit SEO en 18 étapes

Il est essentiel pour le référencement de réaliser régulièrement des audits SEO afin de trouver et de corriger les problèmes qui pourraient entraver les performances de recherche organique de votre site. Dans ce guide, nous vous guidons pas à pas pour entreprendre un audit SEO simple mais efficace et identifier les problèmes que vous devrez résoudre en priorité pour relancer votre croissance.
Olivier AmiciSep 14, 2020
les 5 bonnes pratiques du maillage interne