Robots.txt

Robots.txt es un sencillo archivo de texto en la carpeta principal de tu web, accesible en tudominio-ejemplo.es/robots.txt. Da instrucciones a los rastreadores, los bots de buscadores y otros servicios, sobre qué partes de tu web pueden visitar y cuáles no. Suele ser uno de los primeros archivos que solicita un rastreador cuando llega a tu web.

Conviene saberlo: robots.txt es una petición, no un cerrojo. Los buscadores conocidos respetan las reglas, pero el archivo no protege nada. La información sensible se protege con contraseña u otro control de acceso, no con robots.txt.

¿Cómo es un archivo robots.txt?

El archivo está formado por grupos de reglas, cada uno para un rastreador concreto. Las partes principales son:

• User-agent: a qué bot se aplican las reglas, por ejemplo Googlebot o un asterisco para todos los bots.
• Disallow: qué rutas no puede rastrear el bot, como el carrito de la compra o los resultados de búsqueda internos.
• Allow: excepciones dentro de una carpeta bloqueada.
• Sitemap: la ubicación de tu sitemap, para que los rastreadores encuentren antes tus páginas importantes.

Rastrear no es lo mismo que indexar

Un malentendido frecuente es creer que, al bloquear una página en robots.txt, la mantienes fuera de Google. No es del todo así. Robots.txt evita que la página se rastree, pero si otras webs enlazan a ella, la URL puede aparecer igualmente en los resultados de búsqueda, aunque sin descripción. Si de verdad quieres dejar una página fuera de la indexación, usa una instrucción noindex y deja precisamente la página rastreable, para que Google pueda leer esa instrucción.

Errores frecuentes

• Tras lanzar una web nueva se queda una regla que bloquea todo el sitio, heredada del entorno de pruebas.
• Se bloquean los archivos CSS y JavaScript, de modo que Google no puede mostrar bien tu página.
• Se excluyen por error carpetas importantes por una regla demasiado amplia.
• Se usa robots.txt para «ocultar» documentos confidenciales, cuando el propio archivo es de lectura pública.

Por ejemplo, una tienda online de Barcelona descubre tras una migración que las nuevas páginas de producto no aparecen en Google. La causa: la regla de pruebas «Disallow: /» seguía en el archivo en producción.

Estos errores son fáciles de evitar. Incluye robots.txt en tu checklist de cada lanzamiento o migración, revisa el archivo tras cambios importantes en tu web y usa el informe de robots.txt de Google Search Console para ver qué versión ha obtenido Google y si contiene errores. Además, mantén el archivo lo más sencillo posible: cuantas menos reglas, menos riesgo de equivocarte.

Robots.txt y los rastreadores de IA

Las empresas de IA también usan rastreadores, como GPTBot de OpenAI, PerplexityBot o Google-Extended, una instrucción aparte con la que decides si tu contenido puede usarse para los modelos de IA de Google. Con robots.txt puedes elegir qué permites a cada bot. Es una decisión estratégica: si bloqueas por completo los rastreadores de IA, quizá también limites tus posibilidades de aparecer como fuente en las respuestas de IA. Por eso, revisa qué hace cada bot antes de permitirlo o bloquearlo, y ten en cuenta que no todos los rastreadores siguen las reglas con el mismo rigor.

¿Dudas de si tu robots.txt está bloqueando páginas importantes? Un análisis técnico de tu web detecta rápidamente esos bloqueos y los conflictos con tu sitemap.