¿Qué es el Crawl Budget? – Súmate

5 de mayo de 2017

Escrito por Antonino Arcudi

El crawl budget, según Google,  es el número de URL que GoogleBot quiere y puede rastrear en una página web. Para muchas páginas web el crawl budget no debería ser un problema, pero si tu web tiene miles de páginas entonces es algo que debería interesarte.

Internet es un lugar grande, casi inmenso, y los recursos de Google y los demás buscadores no son infinitos. Eso quiere decir que el bot de Google puede rastrear solo una parte de los contenidos presentes en la red y de esta parte solo un porcentaje será indexado. Por eso entran en juego muchos factores que determinan cuántos recursos dedica Google a tu página web.

Uno de estos factores es el crawl rate limit —el limite de velocidad de rastreo— que determina el numero de conexiones paralelas que Google empleará para rastrear la página y el tiempo que esperará para recuperar las páginas. Podemos deducir que, cuanto más rápido sea tu sitio web, mejor se indexará y subirá el valor del crawl rate limit.

Además hay que tener en cuenta que el Googlebot dará prioridad y rastreará con mas frecuencia las URL más «famosas» y actualizadas.

Para entender mejor el concepto de velocidad de rastreo puedes mirar la sección Estadísticas de rastreo de tu web en Google Search Console:

Estadísticas de rastreo

El primer gráfico nos dice el numero de páginas rastreadas al día y el tercero el tiempo de descarga de una página. Puedes comprobar fácilmente que a las fechas con menor tiempo de descarga se corresponden con un mayor numero de páginas rastreadas al día.

¿Qué afecta negativamente al crawl budget?

 Entre los factores que pueden reducir el rastreo de nuestra web, los más comunes son los siguientes:

  • Filtros indexables: es un problema difuso en las tiendas online que suelen ofrecer muchas opciones de búsqueda al usuario (por ejemplo talla, color, marca, etc., ya que generan una cantidad potencialmente infinita de URLs.  Es recomendable, en estas situaciones, valorar caso por caso si es necesario indexar tantos filtros y encontrar una solución para que el bot siga viendo todo el contenido presente en nuestra web.
  • Contenido duplicado dentro del mismo sitio web, es decir, dos o más URLs que proporcionan un contenido parecido. 
  • Errores de rastreo 5xx: estos errores son interpretados por el Googlebot como una señal de que nuestro servidor no tiene suficiente rendimiento para gestionar el rastreo, con lo cual disminuirá nuestro crawl budget. Revisa la sección en Google Search Console para identificar y solucionar estos errores. 

Cabe mencionar que el crawl budget no es un factor de posicionamiento, pero a pesar de ello sí es importante optimizarlo, sobre todo si tenemos una web con miles de URLs.

New Call-to-action

1 Comentarios

[…] último, y aunque el Crawl Budget no es un factor de posicionamiento SEO, también nos beneficiará a la hora de proporcionar a Google menos enlaces que rastrear y, por […]

Deja una respuesta

Tu dirección de correo electrónico no será publicada.

Por Antonino Arcudi

Suscríbete a
nuestro Blog

No te pierdas las últimas noticias y consejos sobre Marketing Digital.

Tu privacidad es importante para nosotros. Súmate utiliza la información que proporcionas para ponerse en contacto contigo en relación con contenido, productos y servicios relevantes para ti. Puedes darte de baja para dejar de recibir este tipo de comunicaciones en cualquier momento. Si deseas obtener más información sobre la protección de tus datos en HubSpot, consulta nuestra Política de Privacidad.