Soumettre un article
Voir les blog

Comment améliorer la crawlabilité et l’indexabilité de votre site web ?

63
Wow-Score
Le Wow-Score montre la capacité d'engagement d'un billet de blog. Il est calculé en fonction de la corrélation entre le temps de lecture actif de l'utilisateur, sa vitesse de défilement et la longueur de l'article.

Comment améliorer la crawlabilité et l’indexabilité de votre site web ?

Elena Terenteva
Comment améliorer la crawlabilité et l’indexabilité de votre site web ?

Dites-moi, quelle est la première chose qui vous vient à l’esprit lorsqu’il s’agit de positionner un site web ?

Le contenu ? Ou peut-être les backlinks ?

Je dois admettre que ce sont là deux facteurs essentiels pour positionner un site sur les résultats des moteurs de recherche. Mais ce ne sont pas les seuls.

En effet, deux autres facteurs jouent un rôle important dans une stratégie SEO : la crawlabilité et l’indexabilité. Et pourtant, la majorité des propriétaires de sites web n’en ont jamais entendu parler.

Même des problèmes mineurs liés à la crawlabilité et l’indexabilité peuvent entraîner un recul de positionnement de votre site, et ce, indépendamment de la qualité de votre contenu et du nombre de backlinks.

crawlability-infographic-fr.png

Gardez un oeil sur les crawlers

Un nouvel outil SEMrush pour l'analyse des logs

Please specify a valid domain, e.g., www.example.com

Que sont la crawlabilité et l’indexabilité ?

Pour comprendre ces termes, voyons tout d’abord comment les moteurs de recherche détectent et indexent des pages. Pour découvrir de nouvelles pages ou des pages mises à jour, ils utilisent ce que l’on appelle des robots d’indexation, ou robots d’exploration, c’est-à-dire des robots qui suivent des liens sur la toile avec pour unique objectif :

Trouver et indexer du nouveau contenu sur le web.

Voici comment l'explique Google : 

« Ces robots d’exploration examinent les pages Web et suivent les liens qui y figurent, de la même façon que lorsque vous naviguez sur Internet. Ils vont de lien en lien et renvoient des informations relatives à ces pages Web aux serveurs de Google. »

Matt Cutts, ancien employé de Google, a mis en ligne une vidéo intéressante expliquant en détail ce processus. Vous pouvez la regarder ci-dessous :

Pour faire simple, ces deux termes se réfèrent à la capacité d’un moteur de recherche d’accéder à des pages web et de les indexer.

La crawlabilité est à la capacité d’un moteur de recherche d’accéder au contenu d’une page et de le crawler.  

Si un site ne présente aucun problème de crawlabilité, les robots d’indexation peuvent facilement accéder à tout son contenu en suivant les liens entre les pages.

Cependant, les liens brisés ou morts peuvent mener à des problèmes de crawlabilité : le moteur de recherche est incapable d’accéder à un contenu spécifique sur un site.

L’indexabilité, quant à elle, se réfère à la capacité d’un moteur de recherche d’analyser et d’ajouter une page à son index.

Même si Google peut parcourir un site, il pourrait ne pas être capable d’indexer toutes ses pages, souvent en raison de problèmes d’indexabilité.

Qu’est-ce qui affecte la crawlabilité et l’indexabilité ?

1. La structure du site

La structure de l’information d’un site web joue un rôle crucial en matière de crawlabilité.

Par exemple, si votre site comporte des pages sans liens, les robots d’indexation pourraient avoir des difficultés à y accéder.

Bien entendu, ils pourraient tout de même trouver ces pages via des liens externes, pour peu que quelqu’un les ait référencés dans son contenu. Mais de manière générale, une structure faible peut causer des problèmes de crawlabilité.

2. La structure des liens internes

Un robot d’indexation navigue sur le web en suivant des liens présents sur chaque site. C’est pourquoi le robot ne peut trouver que des pages vers lesquels vous pointez à partir d’autres contenus.

Par conséquent, une bonne structure de liens internes permet au robot d’atteindre rapidement même les pages plus profondes dans la structure de votre site.

3. Les boucles de redirection

Une longue chaîne de redirects ou des boucles de redirection bloquent les robots d’indexation, ce qui entraîne des problèmes de crawlabilité.

4. Les erreurs de serveur

De la même manière, des redirections de serveur en panne et d’autres problèmes liés au serveur peuvent empêcher les robots d’indexation d’accéder à l’ensemble de votre contenu.

5. Les scripts non pris en charge et d’autres facteurs

Des problèmes de crawlabilité peuvent également survenir en raison de la technologie que vous utilisez sur votre site. C’est le cas, par exemple, si vous protégez du contenu derrière un formulaire, étant donné que les robots d’indexation ne peuvent pas suivre les formulaires.

Différents scripts, tels que JavaScript ou Ajax peuvent aussi empêcher les robots d’accéder à du contenu.

6. L’accès bloqué aux robots d’indexation

Enfin, vous pourriez délibérément empêcher les robots d’indexation d’indexer des pages sur votre site.

Et il y a de bonnes raisons de le faire.

Par exemple, vous pourriez avoir créé une page dont vous voulez restreindre l’accès public. Pour ce faire, vous devez également empêcher les robots d’indexation d’y accéder.

Cependant, il également est facile de bloquer accidentellement l’accès à d’autres pages. Une simple erreur de code, par exemple, pourrait bloquer une partie tout entière du site.

Comment rendre votre site web plus facile à crawler et à indexer ?

Nous venons de voir quelques-uns des facteurs qui peuvent affecter la crawlabilité et l’indexabilité de votre site. La première étape, donc, consiste à vous assurer qu’aucun d’eux n’entre en ligne de compte.

Mais il existe d’autres choses que vous pouvez faire afin de permettre aux robots d’indexation d’accéder à vos pages et de les indexer plus facilement.

1. Soumettez sitemap à Google

Sitemap est un petit fichier qui se trouve dans le dossier racine de votre domaine et qui contient des liens directs vers chacune des pages de votre site et les soumet au moteur de recherche en utilisant la Search Console.

Le sitemap informera Google de votre contenu et l’alertera de toutes les mises à jour que vous avez faites.

2. Renforcez votre maillage interne

Bien organiser votre linking interne aura certainement un impact positif sur la crawlabilité. Afin d’augmenter les chances que le robot d’indexation de Google trouve tout le contenu de votre site, améliorez votre maillage interne de sorte que tout votre contenu soit relié.

3. Faites des mises à jour régulières et ajoutez du nouveau contenu

Le contenu est la partie la plus importante de votre site. Il vous permet d’attirer des visiteurs, de leur présenter votre entreprise et de les transformer en clients fidèles.

Mais le contenu vous aide également à améliorer la crawlabilité de votre site. En effet, les robots d’indexation visitent plus fréquemment les sites qui mettent constamment à jour leur contenu. Et cela veut dire qu’ils parcourront et indexeront plus rapidement votre page.

4. Évitez le contenu dupliqué

Le contenu dupliqué, c’est-à-dire des pages qui présentent le même contenu ou un contenu sensiblement similaire, peut entraîner un recul de positionnement de votre site.

De plus, le contenu dupliqué peut diminuer la fréquence à laquelle les robots d’indexation visitent votre site.

Veillez donc à analyser votre contenu et à remédier à d’éventuels problèmes de contenu dupliqué sur votre site.

5. Accélérez le temps de chargement de votre page

Les robots d’indexation disposent généralement d’un laps de temps limité pour parcourir et indexer votre site.

Donc, plus vos pages chargent vite, plus le robot pourra en visiter avant que son temps imparti ne se soit écoulé.

Outils de gestion de crawlabilité et d’indexabilité

Si tous les points que nous avons abordés vous semblent difficiles à mettre en place, ne vous inquiétez pas : il existe des outils qui vous aident à déceler et à résoudre vos problèmes de crawlabilité et d’indexabilité.

Log File Analyzer

Log File Analyzer est un outil qui vous indique comment les robots desktop et mobile de Google parcourent votre site, s’il y a certaines erreurs à corriger et s’il est possible d’économiser le budget de crawl c’est-à-dire le temps qu’alloue Google à l’exploration de votre site. Il vous suffit de charger le fichier access.log de votre site web et de laisser l’outil faire son travail.

Un journal des accès est une liste de toutes les requêtes que des robots ont envoyées à votre site. L’analyse de ce journal vous permet de suivre et de comprendre le comportement des robots d’indexation.

Améliorez la crawlabilité de votre site web

Un nouvel outil pour comprendre le fonctionnement des robots

Please specify a valid domain, e.g., www.example.com

Audit de site

Audit de site  fait partie de la suite SEMrush qui vérifie la santé de votre site web. Scannez votre site pour détecter différents types de problèmes, dont ceux qui affectent la crawlabilité et l’indexabilité.

site audit

Outils de Google

Google Search Console vous aide à contrôler votre site et garder un oeil sur sa performance dans les résultats de recherche. C’est là que vous pouvez soumettre votre sitemap et découvrir la couverture des robots d’indexation sur votre site.

Google PageSpeed Insights vous permet de vérifier la vitesse de chargement d’une page web.

Conclusion

La plupart des webmasters savent que pour améliorer le positionnement d’un site, ils ont au moins besoin de contenu fort et pertinent et de backlinks qui augmentent l’autorité du site.

Ce qu’ils ignorent, c’est que leurs efforts sont inutiles si les robots d’indexation des moteurs de recherche ne peuvent ni parcourir ni indexer leurs sites.

C’est pourquoi, en plus de veiller à ajouter et à optimiser des pages pour des mots-clés pertinents et à gagner des liens, il vous faut également constamment vérifier que les robots d’indexation accèdent bien à votre site et noter ce qu’ils trouvent au moteur de recherche.

Gardez un oeil sur les crawlers

Un nouvel outil SEMrush pour l'analyse des logs

Please specify a valid domain, e.g., www.example.com

Elena Terenteva, Product Marketing Manager at SEMrush. Elena has eight years public relations and journalism experience, working as a broadcasting journalist, PR/Content manager for IT and finance companies.
Bookworm, poker player, good swimmer.
Partager cet article
ou

Commentaires

Il reste 2000 caractères
Newcomer

Either just recently joined or is too shy to say something.

Très bon article. Après lecture, j'en ai profité pour le présenter dans cet article qui traite du SEO de manière générale.
[Lien supprimé par le modérateur]
Khier Saidani
Helper

An experienced member who is always happy to help.

Merci pour cet article. Vous nous indiquez que pour vérifier la vitesse d'une page web, vous nous conseillez PagesSpeed Insights. Mais le souci est que leur serveur est à l'autre bout du monde. Pourquoi ne pas utiliser un serveur proche du pays ciblé pour savoir plus précisément la vitesse de leurs pages web. J'ai pensé à Ping Tools. Merci pour votre article !

Envoyer un feedback

Your feedback must contain at least 3 words (10 characters).

Nous n’utiliserons que cet email pour vous répondre concernant votre feedback. Politique de confidentialité

Thank you for your feedback!

Community Ranking System

Our SEMrush community rank reflects the level of your professional recognition in our community. We value quality contributions, so highly ranked members will get valuable incentives. Take part in discussions, write posts and speak on webinars, be friendly and helpful, and you will eventually get to the top of the ladder.

  • Newcomer
    Either just recently joined or is too shy to say something.
  • Enthusiast
    Occasionally takes part in conversations.
  • Helper
    An experienced member who is always happy to help.
  • Master
    A veteran community member.
  • Pro
    Asks great questions and provides brilliant answers.
  • Expert
    Provides valuable insights and adds depth to the conversation.
  • Guru
    A bearer of digital marketing wisdom.
  • Superstar
    Knows everything… well, almost.
  • Legend
    Getting here is not easy at all!