Auditoría del sitio: los ajustes de URL y crawl delay
Tras la última actualización de la herramienta de Auditoría del sitio iqueremos presentarte dos opciones que muchos de vosotros nos habéis pedido para ajustar el rastreador: la exclusión avanzada de ciertos parámetros de URL y la opción de crawl delay (opción que ordena a un rastreador incluir un retardo entre solicitudes de servidor).
Exclusión avanzada de ciertos parámetros de URL
Ahora puedes especificar los parámetros de URL que no necesitas en tu Auditoría del sitio. Para tu comodidad, la nueva opción de exclusión de parámetros es parecida a los parámetros de URL en Google Search Console. Por ejemplo, puedes ajustar la Auditoría del sitio para ignorar todos los códigos UTM de manera que el rastreador procesará http://example.com/webpage.html y http://example.com/webpage.html?utm_media=blogcomo una misma URL.
Puedes crear y editar tu lista de los parámetros de URL excluidos clicando en el icono del engranaje en la interfaz de la Auditoría del sitio. Allí debes seleccionar la opción “Removed parameters” (parámetros excluidos) del menú desplegable.
Tras esto puedes especificar los parámetros de URL que quieres excluir del rastreo escribiendo un parámetro por línea. Cuando termines, haz un clic en el botón "Save" y actualiza tu Auditoría del sitio para aplicar los cambios.
Crawl Delay
De forma predeterminada, los robos de la Auditoría del sitio ignoran el parámetro 'Crawl Delay' especificado en el archivo robots.txt para hacer el rastreo con mayor rapidez. Pero en algunos casos un rastreo intenso puede sobrecargar el sitio web. Para prevenir esto, ahora puedes usar la opción 'Respect robots.txt crawl delay' en los ajustes de la Auditoría del sitio (para hacerlo, haz un clic en el icono del engranaje de la interfaz de la Auditoría del sitio y selecciona la opción 'Respect robots.txt crawl delay' del menú desplegable).
Se abrirán los ajustes de la Auditoría del sitio. Allí, marca la opción 'Respect robots.txt crawl delay' y haz un clic en el botón 'Save' para aplicar los nuevos cambios.
Si tienes algún comentario, sugerencia o nuevas ideas, por favor, envíanos un correo a
site-audit-feedback@semrush.com ¡Gracias por ayudarnos a mejorar SEMrush!