Para configurar una auditoría del sitio, primero tienes que crear un proyecto para el dominio. Una vez que lo tengas creado, selecciona el botón "Configurar" en el bloque Auditoría del sitio de la interfaz del proyecto.

Si tienes problemas para que se ejecute la Auditoría del sitio web, consulta Solución de problemas de la Auditoría del sitio para obtener ayuda.

Dominio y límite de páginas

Se te dirigirá a la primera parte del asistente de configuración, Dominio y límite de páginas. Desde aquí, puedes elegir la opción "Iniciar Auditoría del sitio" para ejecutar inmediatamente una auditoría de tu sitio con nuestra configuración predeterminada, o bien personalizar la configuración de la auditoría a tu gusto. Pero no te preocupes, porque siempre puedes cambiar la configuración inicial y volver a ejecutar la auditoría para rastrear una sección más específica de tu sitio web.

Alcance de rastreo

Para rastrear un dominio, subdominio o subcarpeta concretos, introdúcelos en el campo "Alcance de rastreo". Si introduces un dominio en este campo, podrás marcar la casilla de verificación para rastrear todos los subdominios.

Por defecto, la herramienta comprueba el dominio raíz, que incluye todos los subdominios y subcarpetas disponibles en tu sitio web. En la configuración de la Auditoría del sitio, puedes definir tu subdominio o subcarpeta como nivel de alcance de rastreo y desmarcar la casilla "Rastrear todos los subdominios" si no quieres que se rastreen otros subdominios.

Por ejemplo, imagina que solo quieres hacer una auditoría del blog de tu web. Puedes definir como alcance de rastreo blog.semrush.com o semrush.com/blog/, dependiendo de si está implementado como subdominio o como subcarpeta.

Límite de páginas para comprobar

A continuación, selecciona cuántas páginas quieres rastrear por auditoría. Puedes indicar un número personalizado mediante la opción "Personalizado". Elige bien el número que quieres introducir, dependiendo del nivel de tu suscripción y de la frecuencia con la que tengas pensado volver a auditar tu sitio web.

• Los Usuarios Pro pueden rastrear hasta 100.000 páginas al mes y 20.000 páginas por auditoría.
• Los Usuarios de Guru pueden rastrear 300.000 páginas al mes y 20.000 páginas por auditoría.
• Los usuarios de Business pueden rastrear hasta 1 millón de páginas al mes y 100.000 páginas por auditoría.

Fuente del rastreo

La configuración de la Fuente del rastreo determina cómo el bot de la Auditoría del sitio de Semrush va a rastrear tu sitio web y encontrar páginas para auditar. Además de configurar la fuente de rastreo, puedes definir máscaras y parámetros para incluirlos o excluirlos de la auditoría en los pasos 3 y 4 del asistente de configuración.

Hay 4 opciones para establecer la fuente de rastreo de tu auditoría: Sitio web, Sitemap en el sitio, Sitemap por URL y URL desde archivo.

1. Rastrear desde el sitio web significa que rastrearemos tu sitio como el robot de Google, utilizando un algoritmo de búsqueda breadth-first y navegando por los enlaces que veamos en el código de tu página, empezando por la página principal.

Si solo quieres rastrear las páginas más importantes de una web, si eliges rastrear desde el sitemap en lugar de desde el sitio web, en la auditoría se rastrearán las páginas más importantes en vez de solo las más accesibles desde la página de inicio.

2. Rastrear desde sitemaps en el sitio significa que solo rastreamos las URL incluidas en el sitemap del archivo robots.txt.

3. Rastrear desde sitemap por URL es lo mismo que rastrear desde "Sitemaps en el sitio", pero esta opción te permite introducir directamente la URL de tu sitemap.

Como los motores de búsqueda utilizan los sitemaps para saber qué páginas rastrear, siempre debes intentar mantener tu sitemap lo más actualizado posible y utilizarlo como fuente de rastreo con nuestra herramienta para obtener una auditoría precisa.

Notas: Auditoría del sitio solo puede utilizar una URL de sitemap como origen de rastreo a la vez, por lo que si tu sitio web tiene varios sitemaps, la siguiente opción (Rastrear desde un archivo de URL) puede funcionar como alternativa.

4. Rastrear desde un archivo de URL te permite hacer una auditoría centrada en páginas muy concretas de una web. Asegúrate de que el archivo está correctamente guardado como .csv o .txt, con una URL por línea, y súbelo directamente a Semrush desde tu ordenador.

Es un método útil si quieres comprobar páginas concretas y conservar tu presupuesto de rastreo. Si solo has hecho cambios en pocas páginas de tu web y deseas verificarlas, puedes utilizar este método para ejecutar una auditoría específica y no malgastar presupuesto de rastreo.

Después de cargar archivo, el asistente te dirá cuántas URL se han detectado para que puedas asegurarte de que ha funcionado correctamente antes de ejecutar la auditoría.

Rastreo de JavaScript

Si utilizas JavaScript en tu sitio web, puedes activar el renderizado JS en la configuración de tu campaña de Auditoría del sitio.



Ten en cuenta que esta función sólo está disponible en las suscripciones Guru y Business.

Configuración avanzada

Nota: Los cuatro pasos siguientes de la configuración son avanzados y opcionales.

Configuración del rastreador

Aquí puedes elegir el agente usuario ("user agent") que quieres que rastree tu sitio. En primer lugar, define el user agent eligiendo entre la versión móvil o de escritorio de SiteAuditBot o de GoogleBot. También puedes elegir el user agent OpenAI-Búsqueda, que comprobará si tu sitio web es rastreable con el nuevo robot de búsqueda.

Por defecto, verificamos tu sitio web con nuestro bot de rastreo móvil, que hace la auditoría de la misma forma que lo haría el rastreador móvil de Google. Puedes cambiar al bot rastreador de Semrush para la versión de escritorio cuando quieras. 

Cuando cambies de user agent, verás que el código del cuadro de diálogo que hay debajo también cambia. Este es el código de user agent y puede utilizarse en un comando cURL (URL de cliente) si quieres probar el user agent por tu cuenta.

Opciones de Crawl-delay

A continuación, tienes tres opciones de "crawl delay" (es decir, el tiempo en segundos entre dos páginas rastreadas): crawl-delay mínimo, respetar el crawl-delay de robots.txt o rastrear una URL cada 2 segundos.

Si dejas marcada esta demora mínima entre páginas, el robot rastreará tu sitio web a su velocidad normal. Por defecto, SiteAuditBot esperará alrededor de un segundo antes de empezar a rastrear otra página.

Si tienes un archivo robots.txt en tu sitio y has definido un crawl-delay concreto, puedes seleccionar la opción "respetar crawl-delay de robots.txt" para que nuestro rastreador de Auditoría del sitio respete esa indicación.

A continuación se muestra cómo aparece indicado un crawl-delay dentro de un archivo robots.txt:

Crawl-delay: 20

Si nuestro rastreador hace que tu sitio web funcione más lento y no hay ninguna instrucción "crawl-delay" en tu archivo robots.txt, puedes decirle a Semrush que rastree una URL cada 2 segundos. Esto puede hacer que tu auditoría tarde más en completarse, pero causará menos problemas potenciales de velocidad a los usuarios reales de tu sitio web durante la auditoría.

Permitir/no permitir URL

Para rastrear o bloquear subcarpetas específicas de un sitio web, consulta el paso "Permitir/rechazar URL" en la configuración de Auditoría del sitio. Este paso también permite hacer una auditoría de varias subcarpetas concretas a la vez.

Incluye todo lo que haya dentro de la URL después del dominio de nivel superior (TLD) en el cuadro de texto de abajo. Por ejemplo, si quisieras rastrear la subcarpeta http://www.example.com/shoes/mens/, tendrías que introducir "/zapatos/hombres/" en la casilla de permisos de la izquierda.

Para evitar que se rastreen subcarpetas específicas, puedes introducir la ruta de la subcarpeta en la casilla de no permitir. Por ejemplo, para rastrear la categoría de zapatos de hombre "men’s shoes", pero excluyendo botas de monte "hiking boots" como una de las subcategorías de zapatos de hombre (https://example.com/shoes/mens/hiking-boots/), tendrás que escribir "/shoes/mens/hiking-boots/" en la casilla de no permitir.

Si te olvidas de añadir la "/" al final de la URL en la casilla de no permitir (por ejemplo: /shoes), Semrush omitirá todas las páginas de la subcarpeta "/shoes/", así como todas las URL que empiecen por "/shoes" (como www.example.com/shoes-men). 

Eliminar parámetros de URL

Los parámetros de URL (también conocidos como cadenas de consulta) son los elementos de una URL que no encajan en la estructura jerárquica de rutas. En cambio, se añaden al final de una URL y dan instrucciones lógicas al navegador web.

Los parámetros de URL siempre incluyen un "?" seguido del nombre del parámetro (página, utm_medium, etc.) y =.

Así, "?page=3" es un simple parámetro de URL que podría servir para identificar la 3.ª página de desplazamiento dentro de una única URL.

El 4.º paso de la configuración de la Auditoría del sitio te permite especificar los parámetros de URL que utiliza tu sitio web para eliminarlos de las URL durante el rastreo. De esta forma Semrush no rastreará la misma página dos veces durante tu auditoría. Si un bot visita dos URL, una con un parámetro y otra sin él, puede rastrear ambas páginas y, como resultado, desperdiciar tu presupuesto de rastreo.

Por ejemplo, si añadieses "page" a esta casilla, se quitarían todas las URL cuya extensión de URL incluya "page". Podrían ser URL con valores como ?page=1, ?page=2, etc. Con esto, se evitaría rastrear la misma página dos veces en el proceso de rastreo; por ejemplo, las URL "/shoes" y "/shoes/?page=1" se tratarían como una sola URL.

En los parámetros de URL se suelen incluir páginas, idiomas y subcategorías. Este tipo de parámetros son útiles para sitios web con muchos productos e información. Otros parámetros de URL habituales son los UTM, que se utilizan para hacer un seguimiento de los clics y el tráfico de las campañas de marketing.

Si ya tienes un proyecto y quieres cambiar su configuración, puedes hacerlo utilizando el icono del engranaje:

Utilizarás las mismas indicaciones anteriores seleccionando las opciones "Máscaras" y "Parámetros eliminados".

Ignorar restricciones del sitio web

Para auditar un sitio web en fase de preproducción u oculto mediante autenticación de acceso básico, en el quinto paso de la configuración hay dos opciones:

1. Ignorar los comandos "disallow" en robots.txt y la metaetiqueta robots
2. Rastrear con tus credenciales para eludir áreas protegidas por contraseña

Si quieres omitir los comandos de no permitir en el archivo robots.txt o en la metaetiqueta (normalmente, se encuentra dentro de la etiqueta <"head"> del sitio web),

tendrás que subir el archivo .txt proporcionado por Semrush a la carpeta principal de tu sitio web.

Puedes subir este archivo directamente a esta carpeta principal, del mismo modo que subirías un archivo para la verificación de GSC, por ejemplo. Este proceso sirve para verificar la propiedad del sitio web y nos permite rastrearlo.

Una vez subido el archivo, puedes iniciar la auditoría del sitio y recopilar los resultados.

Para hacer un rastreo con tus credenciales, solo tienes que introducir el nombre de usuario y la contraseña que utilizas para acceder a la parte oculta de tu sitio web. Nuestro bot utilizará tus datos de acceso para acceder a las áreas ocultas y proporcionarte los resultados de la auditoría.

Programar

Por último, elige con qué frecuencia quieres que auditemos automáticamente tu web. Las opciones que tienes son:

• Una vez a la semana (elige el día que quieras)
• A diario
• Una vez

Puedes cambiar tus preferencias siempre que quieras, dentro del proyecto.

Una vez completada la configuración, selecciona "Iniciar auditoría del sitio".

Resolución de problemas

En el caso de que aparezca el cuadro de diálogo "Ha habido un error en la auditoría del dominio", deberás comprobar que nuestro rastreador de Auditoría del sitio no esté bloqueado por tu servidor. Para garantizar un rastreo correcto, sigue nuestros pasos de Solución de problemas de auditoría del sitio para dar permisos a nuestro bot. 

Si lo prefieres, puedes descargar el archivo de registro que se genera cuando se produce el fallo de rastreo y proporcionar este archivo a tu webmaster para que pueda analizar la situación e intentar averiguar por qué está bloqueado el rastreo.

Vincular Google Analytics y Auditoría del sitio web

Tras completar el asistente de configuración, podrás conectar tu cuenta de Google Analytics para incluir problemas relacionados con tus páginas más vistas. 

Si sigue habiendo algún problema al realizar la auditoría del sitio web, consulta el artículo Solución de problemas de Auditoría del sitio.