Pourquoi seules quelques pages de mon site Web sont-elles explorées ?

Il se peut que votre page d’accueil ne comporte pas de liens internes sortants ou que les liens soient incorporés dans du JavaScript. Si vous disposez du forfait Pro, notre robot n’analysera pas le contenu JavaScript. Par conséquent, si votre page d’accueil contient des liens vers le reste de votre site cachés dans des éléments JavaScript, nous ne les lirons pas et n’explorerons pas ces pages.

Bien que l’exploration du contenu JavaScript soit réservée aux utilisateurs des forfaits Guru et Business, nous pouvons explorer le HTML d’une page contenant des éléments JavaScript et examiner les paramètres de vos fichiers JavaScript et CSS grâce à nos contrôles de performance, quel que soit votre forfait (Pro, Guru ou Business).

Dans un cas comme dans l’autre, il existe un moyen de faire que notre robot explore vos pages. Dans les paramètres de votre campagne, modifiez la source d’exploration de « Site Web » à « Sitemap sur le site » ou « URL depuis un fichier ».

Par défaut, la source est définie sur « Site Web ». Nous explorons donc votre site Web à l’aide d’un algorithme de parcours en largeur, en commençant par la page d’accueil et en suivant les liens contenus dans son code.

Si vous choisissez l’une des autres options, nous explorerons les liens qui se trouvent dans le plan du site ou dans un fichier que vous transférez.

Notre robot d’exploration a pu être bloqué sur certaines pages dans le fichier robots.txt du site Web ou par des balises noindex ou nofollow. Pour le vérifier, reportez-vous au rapport Pages explorées.

Commencez par inspecter votre fichier robots.txt à la recherche de commandes « Disallow » qui pourraient empêcher les robots d’exploration comme le nôtre d’accéder à votre site Web.

Si cette commande apparaît sur la page d’accueil, nous ne pouvons pas suivre ni indexer les liens qui s’y trouvent, car notre accès est bloqué. De même, la présence d’au moins l’un des codes « nofollow » ou « none » sur une page entraînera une erreur d’indexation. 

<meta name="robots" content="noindex, nofollow">

Vous trouverez plus d’informations dans notre article de dépannage concernant ces erreurs.

Audit de site ne peut analyser que les pages d’accueil d’une taille maximale de 4 Mo.



Pour les autres pages de votre site, la limite est de 2 Mo. Si le code HTML d’une page est trop volumineux, vous verrez apparaître le message d’erreur suivant :