Rastreo

Antes de que un buscador pueda mostrar tu página, primero tiene que saber que existe y qué contiene. Eso ocurre mediante el rastreo: programas automatizados, llamados rastreadores, crawlers o bots, navegan de enlace en enlace y obtienen el contenido de las páginas. Googlebot es el más conocido, pero Bing y las empresas de IA que hay detrás de ChatGPT, Perplexity y otras herramientas también envían sus propios rastreadores.

El rastreo es el primer paso de una cadena. Después de obtener la página, se procesa y, si procede, se incluye en el índice, y solo entonces puede aparecer en los resultados de búsqueda o en una respuesta de IA. Si una página nunca se rastrea, en principio sigue siendo invisible para esos sistemas.

¿Cómo encuentra un rastreador tus páginas?

Los rastreadores descubren URL nuevas de varias formas:

• A través de enlaces: desde páginas que ya conocen, siguen enlaces hacia otras páginas, tanto dentro de tu propia web como desde otras webs.
• A través de tu sitemap: un archivo XML que enumera tus URL más importantes.
• A través de solicitudes manuales: en Google Search Console puedes inspeccionar una URL y solicitar su indexación.

Por eso, una página a la que no apunta ningún enlace, una página huérfana, es difícil de encontrar. Unos buenos enlaces internos son, por tanto, esenciales.

¿Qué determina si un rastreador puede leer tu contenido?

Que te encuentren es una cosa; que te lean, otra. Influyen varios factores:

• Tu robots.txt indica a los rastreadores qué partes de tu web no pueden visitar. Una regla equivocada puede cerrar por error toda tu web.
• Los errores del servidor y las respuestas lentas pueden hacer que los rastreadores obtengan menos páginas.
• JavaScript: Google puede renderizar JavaScript, pero a veces lo hace más tarde. Es probable que muchos rastreadores de IA ejecuten poco o nada de JavaScript, de modo que el contenido que solo aparece mediante scripts puede ser invisible para ellos.
• Inicios de sesión y formularios: los rastreadores no pueden llegar al contenido que está detrás de un login.

El rastreo por parte de los bots de IA

Cada vez más empresas se preguntan si deben permitir los rastreadores de IA. Algunos bots recopilan datos para entrenar modelos de lenguaje; otros obtienen páginas en tiempo real para responder a la pregunta de un usuario. Si bloqueas este segundo grupo, reduces las posibilidades de que ChatGPT Search o Perplexity usen tu página como fuente. Es, por tanto, una decisión que hay que tomar con conocimiento. El archivo llms.txt es una propuesta más reciente para ofrecer a los sistemas de IA una visión general de tu contenido más importante, aunque su adopción todavía es limitada.

Un ejemplo: la nueva web de una clínica dental

Una clínica dental de Valencia lanza una web nueva. Durante el desarrollo, la web estaba bloqueada para los buscadores, como debe ser, pero ese bloqueo en robots.txt se quedó puesto en el lanzamiento. Semanas después, la web sigue sin aparecer en Google. Tras eliminar la regla y enviar el sitemap en Search Console, las páginas vuelven a rastrearse. Es un error frecuente que se evita con una simple comprobación después de cada lanzamiento.

Cómo comprobar si tu web se rastrea bien

1. Revisa en Google Search Console el informe de estadísticas de rastreo y el estado de tus páginas.
2. Prueba las URL importantes con la herramienta de inspección de URLs.
3. Revisa tu robots.txt en busca de bloqueos no deseados, también para los rastreadores de IA.
4. Busca páginas huérfanas y enlaces rotos.
5. Comprueba que tu texto principal está en el HTML y no se carga solo mediante JavaScript.

En webs grandes entra también en juego el presupuesto de rastreo. Si quieres que se revise a fondo, un análisis de SEO técnico muestra de forma clara los problemas de rastreo y los bloqueos.