Pour réaliser un Audit de site, il vous faut tout d’abord créer un Projet pour le domaine. Ensuite, cliquez sur « Set up » dans le carré « Site Audit » de l’interface de votre nouveau projet.

Si vous ne parvenez pas à lancer votre audit de site, veuillez consulter notre article de dépannage Troubleshooting Site Audit.

Domaine et limite de pages 

Vous êtes à la première étape de la configuration de l’audit de site : Domaine et limite de pages. À ce stade, vous pouvez soit cliquer sur « Start Site Audit » pour lancer un audit de votre site avec nos paramètres par défaut, soit personnaliser les paramètres de votre audit. Ne vous inquiétez pas, vous pouvez à tout moment modifier vos paramètres et relancer votre audit pour explorer des pages plus spécifiques de votre site.

Champ d’exploration 

Pour explorer un domaine, un sous-domaine ou un sous-dossier spécifique, vous pouvez le saisir dans le champ « Crawl Scope ». Si vous entrez un domaine dans ce champ, vous pourrez cocher l’option « Crawl all subdomains », qui vous permet d’explorer tous les sous-domaines du domaine que vous avez saisi.

Limite de pages à explorer 

Ensuite, sélectionnez le nombre de pages que vous souhaitez analyser par audit. Vous pouvez entrer un nombre personnalisé à l’aide de l’option « Custom ». Choisissez le nombre de pages à bon escient, en tenant compte du niveau de votre compte et de la fréquence à laquelle vous prévoyez faire des audits de votre site.

• Les comptes Pro peuvent explorer jusqu’à 100 000 pages par mois et 20 000 pages par audit.
• Les comptes Guru peuvent explorer jusqu’à 300 000 pages par mois et 20 000 pages par audit.
• Les comptes Business peuvent explorer jusqu’à 1 million de pages par mois et 100 000 pages par audit.

Source d’exploration 

La source d’exploration détermine la manière dont le robot Semrush Site Audit explore votre site Web et trouve des pages à auditer. En plus de définir la source d’exploration, aux étapes 3 et 4, vous pourrez définir des masques et des paramètres à inclure ou à exclure lors de l’audit.

Vous pouvez choisir parmi 4 sources d’exploration pour votre audit : le site, le sitemap sur le site, le sitemap par URL et un fichier d’URLs.

1. La source Website : nous explorerons votre site comme le GoogleBot, en utilisant un algorithme de parcours en largeur et en naviguant via les liens que nous voyons sur le code de votre page, en commençant par la page d’accueil.

Si vous souhaitez simplement explorer les pages les plus importantes d’un site, préférez la source Sitemap à la source Website, cela permettra à l’audit d’explorer les pages les plus importantes, plutôt que les pages les plus accessibles à partir de la page d’accueil.

2. La source Sitemaps on site : nous n’explorerons que les URLs trouvées dans le sitemap à partir du fichier robots.txt.

3. La source Sitemap URL : l’exploration est effectuée de la même façon qu’avec la source Sidemap on site, mais cette option vous permet de saisir spécifiquement l’URL de votre sitemap.

Étant donné que les moteurs de recherche utilisent les sitemaps pour déterminer les pages qu’ils doivent explorer, veillez à garder votre sitemap à jour. Pour obtenir un audit précis avec notre outil, définissez votre sitemap comme source d’exploration.

4. La source URLs from file : cette source vous permet d’auditer un ensemble très spécifique de pages sur un site Web. Assurez-vous que votre fichier est correctement formaté (formats .csv ou .txt), avec une URL par ligne, et uploadez-le directement sur Semrush à partir de votre ordinateur.

Si vous n’avez apporté des changements qu’à quelques pages de votre site, cette méthode vous permet de ne pas gaspiller votre budget d’audit en exécutant un audit ciblé.

Après avoir uploadé votre fichier, vous verrez apparaître le nombre d’URL détectées. Vérifiez que tout est correct avant de lancer l’audit.

Explorer Javascript

Si vous utilisez JavaScript sur votre site web, vous pouvez activer le rendu JS dans les paramètres de votre campagne d’Audit de site.



Veuillez noter que cette fonctionnalité n’est disponible qu’avec un abonnement Guru ou Business.

Si votre plan d’abonnement est Pro, vous pouvez implémenter le schéma d’exploration AJAX. Site Audit trouvera des liens dans votre code JavaScript et les suivra jusqu’au contenu de votre site auquel ils renvoient. Il vous suffit de relancer votre campagne et de changer la source d’exploration de Website à Sitemap. Vous pouvez en savoir plus à ce sujet dans notre article Quoi de neuf.

L’exploration AJAX nous permet de trouver les pages contenant des éléments JavaScript, d’analyser le code HTML sur ces pages et de mesurer la taille des éléments JS et CSS à l’aide de nos contrôles de Performance.

Auditer les AMP

En cochant la case « Crawl AMP pages first » (explorer les pages AMP en premier), votre audit examine vos pages AMP afin de rechercher les problèmes d’implémentation les plus fréquents liés aux AMP. Pour le moment, les contrôles AMP ne sont disponibles que pour les comptes Business.

Lorsque vous avez configuré ces paramètres, vous pouvez lancer votre audit de site. Toutefois, si vous souhaitez ajouter des masques ou supprimer des paramètres ou encore planifier vos audits, suivez les instructions de configuration avancée ci-dessous.

Configuration avancée

NB : Les quatre étapes de configuration suivantes sont avancées et facultatives.

Paramètres du robot d’exploration

C’est ici que vous pouvez choisir l’user-agent (agent utilisateur) que vous désirez pour parcourir votre site. Tout d’abord, définissez l’user-agent de votre audit en choisissant entre la version mobile ou desktop du SemrushBot ou du GoogleBot.

Lorsque vous modifiez l’user-agent, vous verrez que le code dans la boîte de dialogue en dessous change également. Il s’agit du code de l’user-agent. Il peut être utilisé dans une boucle si vous voulez tester l’user-agent par vous-même.

Options de crawl-delay

Vous pouvez ensuite choisir parmi 3 options de crawl-delay, c’est-à-dire le temps en secondes entre deux pages parcourues : le crawl-delay minimal ; respecter le crawl-delay robots.txt ; et 1 URL toutes les 2 secondes.

Si vous optez pour le crawl-delay minimal entre les pages parcourues en cliquant sur « minimum delay between pages », le robot explorera votre site Web à son rythme normal. Par défaut, SemrushBot attend environ une seconde avant de commencer à explorer une autre page.

Si vous avez un fichier robots.txt sur votre site et que vous avez spécifié un crawl-delay, vous pouvez sélectionner l’option « respect robot.txt » pour que notre robot d’exploration respecte ce crawl-delay.

Voici à quoi ressemble un crawl-delay dans un fichier robots.txt :

Crawl-delay: 20

Si notre robot d’exploration ralentit votre site Web et que vous n’avez pas de directive crawl-delay dans votre fichier robots.txt, vous pouvez choisir l’option « 1 URL per 2 seconds ». Certes, cette option peut prolonger la durée de votre audit, mais elle entraînera moins de problèmes de vitesse pour les internautes qui visitent votre site au cours de l’audit.

Directives Allow et Disallow

Cette option vous permet de parcourir ou de bloquer certains sous-dossiers spécifiques d’un site Web. Veillez à tout inclure dans l’URL après le TLD. Par exemple, si vous souhaitez parcourir le sous-dossier http://www.example.com/shoes/mens/, vous devez entrer « /shoes/mens/ » dans la zone Allow située à gauche.

Pour empêcher l’exploration de sous-dossiers spécifiques, vous devez entrer le chemin de ce sous-dossier dans la zone Disallow. Par exemple, pour explorer la catégorie chaussures pour hommes « men’s shoes », mais éviter sa sous-catégorie chaussures de randonnée « hiking boots » (https://example.com/shoes/mens/hiking-boots/), vous devez saisir « /shoes/mens/hiking-boots/ » dans la zone Disallow située à droite.

Si vous oubliez d’entrer la barre oblique / à la fin de l’URL dans la zone Disallow (ex : /shoes), Semrush ignorera toutes les pages du sous-dossier « /shoes/ » ainsi que toutes les URL commençant par « /shoes » (telles que : www.example.com/shoes-men).

Supprimer les paramètres d’URL 

Les paramètres d’URL (également appelés chaînes de requête) sont des éléments d’une URL qui ne rentrent pas dans la structure hiérarchique du chemin, mais qui sont ajoutés à la fin d’une URL et donnent des instructions logiques au navigateur Web.

Les paramètres d’URL sont toujours constitués du signe ? suivi du nom du paramètre (page, utm_medium, etc.) et du signe =.

Donc, « ?Page=3 » est un simple paramètre d’URL qui pourrait indiquer la 3ème page de défilement sur une seule URL.

La quatrième étape de la configuration de l’audit de site vous permet de spécifier les paramètres d’URL utilisés par votre site Web afin de les supprimer des URL lorsque notre robot d’exploration parcourt vos pages. Cela lui permet d’éviter de parcourir deux fois la même page lors de votre audit. Si un robot voit deux URL, l’une avec un paramètre et l’autre sans, il risque d’explorer les deux pages et de gaspiller votre budget.

Les paramètres d’URL sont le plus souvent utilisés pour les pages, les langues et les sous-catégories. Ces types de paramètres sont utiles pour les sites Web contenant un large éventail de produits ou d’informations. Les UTM sont un autre type courant de paramètre d’URL. Ils sont utilisés pour le suivi des clics et du trafic généré par les campagnes marketing.Par exemple, si vous ajoutez « page » dans cette zone, toutes les URL incluant « page » dans leur extension seront omises. Il s’agit d’URL avec des valeurs telles que « ?Page=1 », « ?Page=2 », etc. Cela évite donc d’explorer deux fois la même page (par exemple, « /shoes » et « /shoes/?Page=1 » seront considérées comme une URL).

Si vous avez déjà configuré un projet et que vous souhaitez modifier vos paramètres, vous pouvez le faire en cliquant sur l’icône des paramètres :

Comme indiqué ci-dessus, sélectionnez les options « Masks » et « Removed parameters ».

Contourner les restrictions du site

Pour auditer un site en préproduction ou caché par une authentification d’accès ordinaire, l’étape 5 propose deux options :

1. Contourner le « disallow » dans robots.txt et la balise meta robots

2. Explorer avec vos informations pour contourner les zones protégées par un mot de passe

Si vous souhaitez contourner les commandes Disallow dans robots.txt ou la balise meta (qu’on trouve en général dans la balise <head> de son site), vous devrez charger le fichier .txt fourni par Semrush dans le dossier principal de votre site.

Vous pouvez charger ce fichier de la même façon que vous chargeriez un fichier pour une vérification GSC, par exemple, directement dans le dossier principal de votre site. Ce processus permet de vérifier la propriété du site et nous donne la possibilité d’explorer le site.

Une fois que le fichier est chargé, vous pouvez lancer l’Audit de site et recueillir les résultats.

Pour explorer avec vos informations, entrez simplement l’identifiant et le mot de passe que vous utilisez pour accéder à la partie cachée de votre site. Notre robot d’exploration se servira de vos données de connexion pour accéder aux zones cachées et vous fournira les résultats de l’audit.

Planifiez les audits

Enfin, sélectionnez la fréquence à laquelle vous souhaitez que nous auditions automatiquement votre site Web. Vous pouvez choisir entre :

• Chaque semaine (choisissez le jour)
• Chaque jour
• Une fois

Vous pouvez relancer l’audit à tout moment au cours du projet.

Dépannage

Si vous recevez le message “l’audit du domaine a échoué“, vous allez devoir vérifier que notre robot d’audit de site n’est pas bloqué par votre serveur. Pour garantir une exploration correcte, suivez les étapes du dépannage de l’Audit de site pour mettre notre robot sur la liste blanche.

Vous pouvez également télécharger le fichier journal généré lors de l’échec de l’exploration et le fournir à votre webmaster afin qu’il puisse analyser la situation et tenter de trouver une raison pour laquelle nous sommes bloqués.

Connecter Google Analytics à l’audit de site

Une fois la configuration terminée, vous pourrez connecter votre compte Google Analytics afin d’inclure les problèmes liés aux pages les plus consultées.

Si un problème persiste lors de l’exécution de votre audit de site, rendez-vous sur la page de dépannage Troubleshooting Site Audit ou contactez notre équipe d’assistance, et nous nous ferons un plaisir de vous aider.