Conocimiento
Kits de herramientas de Semrush
SEO
Auditoría del sitio
¿Por qué solo se rastrean algunas de las páginas de mi sitio web?

¿Por qué solo se rastrean algunas de las páginas de mi sitio web?

¿Por qué solo se rastrean algunas de las páginas de mi sitio web? image 1

Si has observado que solo se rastrean de 4 a 6 páginas de tu sitio web (tu página de inicio, las URL de los sitemaps y robots.txt), lo más probable es que se deba a que nuestro bot no ha podido encontrar enlaces internos salientes en tu página de inicio. A continuación encontrarás las posibles causas de este problema.

Nuestro rastreador de Auditoría del sitio podría estar bloqueado para algunas páginas en robots.txt o por etiquetas noindex/nofollow. Puedes comprobar si es así en el informe Páginas rastreadas:

Cómo comprobar en el informe Páginas rastreadas si nuestro rastreador se bloqueó para algunas páginas.

Puedes inspeccionar tu Robots.txt en busca de comandos disallow que impidan a rastreadores como el nuestro acceder a tu sitio web.

Cuando aparece este código en la página principal de un sitio web, se nos indica que no se nos permite indexar/seguir enlaces ni tampoco acceder a él. Asimismo, el hecho de que en una página aparezca al menos uno de estos dos códigos, "nofollow" o "none", provocará un error de rastreo. 

<meta name="robots" content="noindex, nofollow">

Encontrarás más información sobre estos errores en nuestro artículo sobre solución de problemas.

Actualmente, la Auditoría del sitio permite analizar páginas de inicio que no superen los 4 MB.

A pop up window that appears if your Site Audit fails to start. It states: 'We encountered an error that stopped us from crawling your website: The size of the main page is too large (more than 4 MB) for search engine crawlers to load it.'

El límite para otras páginas de tu sitio web es de 2 MB. En caso de que una página tenga un tamaño HTML demasiado grande, verás el siguiente error:

Ejemplo del informe Problemas con el texto 'html' escrito en la barra de búsqueda. En la lista de errores hay uno que indica que una página HTML es demasiado grande.