Pourquoi ai-je reçu le message « Page inaccessible » pour certaines de mes pages ?

Ce message apparaît lorsque le robot d’exploration de On Page SEO Checker a été bloqué ou qu’il n’a pas pu explorer votre page. Veuillez vérifier que votre fichier robots.txt autorise les agents utilisateurs à explorer les pages de votre site Web.

Si nos robots ne sont pas bloqués dans le fichier robots.txt, vous devez ajouter les adresses IP suivantes et l’agent utilisateur spécifié à la liste blanche de votre fournisseur d’hébergement et de tout plugin ou service que vous utilisez pour gérer votre site (par exemple, Cloudflare, ModSecurity) afin de résoudre ce problème :

85.208.98.53
85.208.98.0/24
Agent utilisateur : SemrushBot-SI

Pour le port, veuillez choisir l’une des options suivantes :

Port 80 : HTTP
Port 443 : HTTPS

Nous vous recommandons également d’ajouter à la liste blanche le robot d’Audit de site, qui est utilisé pour explorer les pages à l’adresse IP suivante :

85.208.98.128/25 (sous-réseau utilisé uniquement par Audit de site)
Nom de l’agent utilisateur : SiteAuditBot

Si vous recevez le message d’erreur « SEMRushBot-Desktop n’a pas pu explorer la page, car il a été bloqué par robots.txt », cela signifie que les paramètres du crawl-delay entrent en conflit avec On Page SEO Checker. 

Les robots d’exploration de On Page SEO Checker acceptent uniquement un crawl-delay d’une seconde. Toute valeur supérieure entraînera l’ignorance de la page par le robot d’exploration. Dans ce cas, le message d’erreur peut apparaître et un nombre réduit d’idées d’optimisation sera proposé pour la page de destination en question.

Pour résoudre ce problème, faites passer le crawl-delay à 1 seconde dans votre fichier robots.txt.