Base de connaissances
Les boîtes à outils Semrush
SEO
Audit de site
Pourquoi seules quelques pages de mon site Web sont-elles explorées ?

Pourquoi seules quelques pages de mon site Web sont-elles explorées ?

Pourquoi seules quelques pages de mon site Web sont-elles explorées ? image 1

Si vous remarquez que seules 4 à 6 pages de votre site Web sont explorées (votre page d’accueil, les URL des sitemaps et robots.txt), c’est que notre robot n’a vraisemblablement trouvé aucun lien interne sortant depuis votre page d’accueil. Voyons quelques causes possibles.

Notre robot d’exploration a pu être bloqué sur certaines pages dans le fichier robots.txt du site Web ou par des balises noindex ou nofollow. Pour le vérifier, reportez-vous au rapport Pages explorées.

Voici comment vérifier si notre robot d’exploration a été bloqué sur certaines pages dans le rapport Pages explorées.

Commencez par inspecter votre fichier robots.txt à la recherche de commandes « Disallow » qui pourraient empêcher les robots d’exploration comme le nôtre d’accéder à votre site Web.

Si cette commande apparaît sur la page d’accueil, nous ne pouvons pas suivre ni indexer les liens qui s’y trouvent, car notre accès est bloqué. De même, la présence d’au moins l’un des codes « nofollow » ou « none » sur une page entraînera une erreur d’indexation. 

<meta name="robots" content="noindex, nofollow">

Vous trouverez plus d’informations dans notre article de dépannage concernant ces erreurs.

Audit de site ne peut analyser que les pages d’accueil d’une taille maximale de 4 Mo.

A pop up window that appears if your Site Audit fails to start. It states: 'We encountered an error that stopped us from crawling your website: The size of the main page is too large (more than 4 MB) for search engine crawlers to load it.'

Pour les autres pages de votre site, la limite est de 2 Mo. Si le code HTML d’une page est trop volumineux, vous verrez apparaître le message d’erreur suivant :

Exemple du rapport Problèmes dans lequel le terme html a été saisi dans la barre de recherche. Dans la liste des erreurs, une erreur indique qu’une page a un HTML trop volumineux.

 

En savoir plus
En savoir plus
En savoir plus