Presupuesto de rastreo

Los buscadores no visitan tu web de forma ilimitada. Googlebot decide cuántas páginas recupera en un periodo determinado, en función de cuánto aguanta tu servidor y de lo interesantes o actualizadas que parecen tus páginas. Esa cantidad de atención es lo que llamamos presupuesto de rastreo (crawl budget). Influye en la rapidez con que se detectan las páginas nuevas o modificadas.

Para la mayoría de las webs pequeñas no es un gran problema. Google indica que el presupuesto de rastreo es relevante sobre todo para webs grandes con decenas de miles de páginas o webs que añaden contenido nuevo muy rápido. Aun así, conviene entender el principio, sobre todo si tu web crece o genera muchas páginas de forma automática.

¿Cómo se determina el presupuesto de rastreo?

Google describe dos componentes:

• Capacidad de rastreo: cuántas peticiones puede procesar tu servidor sin ralentizarse. Si tu web responde lento o da errores, Google reduce el ritmo.
• Demanda de rastreo: cuánto quiere Google recuperar tus páginas. Las páginas populares y actualizadas con frecuencia se visitan más que las desactualizadas o con pocos enlaces.

Ambos componentes cambian constantemente: un servidor más rápido o contenido más popular puede hacer que aumente el presupuesto, mientras que los errores lo reducen. El resultado es un límite práctico de la frecuencia y la profundidad con que Googlebot rastrea tu web.

¿Cuándo debes preocuparte?

El presupuesto de rastreo pasa a ser un punto de atención cuando notas que páginas importantes tardan mucho en recuperarse o indexarse. Situaciones típicas:

• una tienda online con muchas combinaciones de filtros que generan cada una una URL distinta;
• una web que crea cientos o miles de páginas mediante SEO programático;
• mucho contenido duplicado, por ejemplo por parámetros en las URL o versiones para imprimir;
• largas cadenas de redirecciones o muchos enlaces rotos.

Cómo aprovechar bien tu presupuesto de rastreo

1. Mantén limpio tu sitemap: solo páginas que realmente quieras ver indexadas.
2. Limita las URL innecesarias, como combinaciones infinitas de filtros o parámetros de sesión, por ejemplo con una instrucción específica en robots.txt.
3. Remite las variantes duplicadas a la versión principal con una etiqueta canonical.
4. Soluciona errores y cadenas de redirecciones, para que los rastreadores no pierdan el tiempo.
5. Asegúrate de tener un servidor rápido: una web que responde con agilidad puede atender más peticiones.
6. Enlaza internamente a tus páginas más importantes, para que se reconozcan como prioritarias.

Un ejemplo: una inmobiliaria con muchas páginas

Una inmobiliaria de la zona de Málaga publica una página propia para cada inmueble y mantiene online los ya vendidos. Además, su buscador genera miles de URL con combinaciones de precio, municipio y tipo de vivienda. Como resultado, los inmuebles nuevos a veces tardan días en aparecer en Google. Excluyendo las URL de filtros, gestionando de forma estructurada los inmuebles vendidos y ofreciendo un sitemap actualizado, Googlebot puede centrar mejor su atención en la oferta nueva.

Presupuesto de rastreo y rastreadores de IA

Además de Googlebot, también visitan tu web rastreadores de empresas de IA, como los de OpenAI o Perplexity. Ellos también tienen recursos limitados y probablemente recuperan sobre todo páginas accesibles y bien estructuradas. Una web ordenada ayuda, por tanto, tanto a los buscadores clásicos como a las herramientas de IA. Si creas muchas páginas a escala, mira cómo la función de SEO programático tiene en cuenta una estructura sana y la indexabilidad.