Cómo optimizar la velocidad de rastreo de la Auditoría de tu sitio

Cuando auditas tu sitio con Auditoría del sitio, enviamos un rastreador para inspeccionar las páginas que le indicas en la configuración de la herramienta.

Sin embargo, es posible encontrar problemas relacionados con el rastreo, tales como:

• El rastreador rastrea el sitio web demasiado rápido y bloquea temporalmente un sitio o lo ralentiza para los usuarios.
• El rastreador rastrea el sitio web demasiado rápido y, como resultado, las páginas no se cargan correctamente. Luego, Semrush presenta "falsos positivos" o informa de problemas en los resultados de la auditoría que no se habrían producido si la auditoría hubiera rastreado a un ritmo más lento y el sitio no se hubiera bloqueado como resultado.
• El rastreador tarda demasiado en rastrear el sitio y estás esperando demasiado para obtener los resultados.

Acelera la Auditoría del sitio

Si tu Auditoría del sitio rastrea demasiado lento, puedes acelerarla en el paso de configuración del rastreador de la ventana de configuración.

Para acelerar la Auditoría de sitio, elige "retraso mínimo entre páginas" para rastrear el sitio lo más rápido posible.

Esta acción garantizará que nuestro bot ignore las instrucciones de retraso de rastreo en el archivo robots.txt del sitio y rastree a la velocidad más rápida posible.

Si aún no estás satisfecho con la velocidad de tu rastreo, el otro paso que puedes tomar es hacer que tus páginas se carguen más rápido. Cuando las páginas se cargan lentamente, se ralentiza el rastreo.

Ten en cuenta que si un bot rastrea tu sitio a una velocidad muy alta, podría hacer que los usuarios del sitio web experimenten tiempos de carga más lentos como resultado.

Por lo tanto, en ciertos casos, sería prudente ralentizar el rastreo en lugar de acelerarlo.

Ralentizar la Auditoría del sitio

Si la auditoría de su sitio se está rastreando demasiado rápido, tiene el potencial de bloquear temporalmente un sitio o ralentizarlo para los usuarios y presentar resultados falsos positivos. Reduce la velocidad de rastreo para asegurarte de que tus resultados sean representativos de la experiencia del usuario en el sitio.

Para ralentizar tu auditoría, tienes algunas opciones en tus ajustes de configuración:

• Dile a Semrush que rastree 1 URL cada 2 segundos. Esto asegurará que el rastreo no abrume el servidor de tu sitio con una gran cantidad de actividad en un corto período de tiempo.
• Establece un retraso de rastreo personalizado en el archivo robots.txt de tu sitio web. Si eliges la opción "respetar robots.txt" en los pasos de configuración, le dirás a nuestro bot que solo rastree las páginas a la velocidad que le indiques.
  
  Por ejemplo, si agregas "Crawl-delay: 5" a tu archivo robots.txt, le dirá al bot que espere 5 segundos antes de acceder al sitio para ver otra página. Nuevamente, esto asegurará que el rastreo se realice a un ritmo que no bloquee ni ralentice el sitio web (consulta un ejemplo abajo).

  User-agent: SemrushBot
  Crawl-delay: 5
  
  User-agent: SiteAuditBot
  Crawl-delay: 5

   

Ten en cuenta: el crawl delay máximo que podemos aplicar es 30, por lo que cualquier cosa más allá de 30 será igual a 30 para nuestro bot.

Si aún tienes problemas al ejecutar la Auditoría del sitio, prueba nuestra guía de solución de problemas o ponte en contacto con nuestro equipo de soporte.