¿Por qué he recibido una nota de "la página no es accesible" en algunas de mis páginas?

Este mensaje aparecerá si el rastreador On Page SEO Checker fue bloqueado o no pudo rastrear tu página. Comprueba el archivo robots.txt de tu web para asegurarte de que permite a los user agents rastrear tus páginas.

Si nuestros bots no están bloqueados en el archivo robots.txt, para solucionar el problema tienes que poner en la lista blanca las siguientes direcciones IP y el User-agent con tu proveedor de alojamiento y cualquier plugin/servicio con el que puedas gestionar tu web (es decir, Cloudflare, ModSecurity):

85.208.98.53
85.208.98.0/24
User-agent: SemrushBot-SI

Para especificar el Puerto, utiliza una de las siguientes opciones:

Puerto 80: HTTP
Puerto 443: HTTPS

Además, también debes poner en la lista blanca al bot de Auditoría del sitio que se utiliza para rastrear páginas en la siguiente dirección IP:

85.208.98.128/25 (una subred utilizada solo por la Auditoría del sitio)
Nombre del User-agent: SiteAuditBot

Si recibes un mensaje de error "SEMRushBot-Desktop no pudo rastrear la página porque fue bloqueada por robots.txt," tu configuración "crawl-delay" en robots.txt no cumple con los requisitos de On Page SEO Checker. 

Los rastreadores de On Page SEO Checker solo admiten un "crawl-delay" de 1 segundo. Cualquier valor inferior a ese hará que el rastreador ignore la página. Esto puede ser la causa de que recibas este mensaje emergente y de que solo se te den algunas ideas para optimizar esa landing page en concreto.

Para arreglar este problema, cambia el "crawl-delay" a 1 segundo en tu robots.txt.