¿Por qué solo se rastrean algunas de las páginas de mi sitio web?
Si has observado que solo se rastrean de 4 a 6 páginas de tu sitio web (tu página de inicio, las URL de los sitemaps y robots.txt), lo más probable es que se deba a que nuestro bot no ha podido encontrar enlaces internos salientes en tu página de inicio. A continuación encontrarás las posibles causas de este problema.
Puede que no haya enlaces internos salientes en la página principal, o que estén incluidos en JavaScript. Si tienes una suscripción Pro, nuestro bot no analizará el contenido JavaScript, por lo que si tu página de inicio tiene enlaces al resto de tu sitio ocultos en elementos de JavaScript, no los leeremos ni tampoco rastrearemos esas páginas.
Aunque el rastreo de contenido JavaScript sólo está disponible para los usuarios de Guru y Business, podemos rastrear el HTML de una página con elementos JS, y podemos revisar los parámetros de tus archivos JS y CSS con nuestras comprobaciones de rendimiento, independientemente del tipo de suscripción (Pro, Guru o Business).
En ambos casos, hay una forma de garantizar que nuestro bot rastree tus páginas. Para ello, tienes que cambiar la fuente de rastreo de "sitio web" a "sitemap" o "URL de archivo" en la configuración de tu campaña:
"Sitio web" es la fuente por defecto. Significa que rastreamos tu web usando un algoritmo breadth-first search y navegando a través de los enlaces que encontremos en el código de tu página, comenzando por la página de inicio.
Si eliges una de las otras opciones, rastrearemos los enlaces que se encuentren en el sitemap o en el archivo que subas.
Nuestro rastreador de Auditoría del sitio podría estar bloqueado para algunas páginas en robots.txt o por etiquetas noindex/nofollow. Puedes comprobar si es así en el informe Páginas rastreadas:
Puedes inspeccionar tu Robots.txt en busca de comandos disallow que impidan a rastreadores como el nuestro acceder a tu sitio web.
Cuando aparece este código en la página principal de un sitio web, se nos indica que no se nos permite indexar/seguir enlaces ni tampoco acceder a él. Asimismo, el hecho de que en una página aparezca al menos uno de estos dos códigos, "nofollow" o "none", provocará un error de rastreo.
<meta name="robots" content="noindex, nofollow">Encontrarás más información sobre estos errores en nuestro artículo sobre solución de problemas.
El límite para otras páginas de tu sitio web es de 2 MB. En caso de que una página tenga un tamaño HTML demasiado grande, verás el siguiente error:
Volver a Kits de herramientas de Semrush categoría