Robots.txt

Le robots.txt est un simple fichier texte placé dans le dossier racine de votre site, accessible via votredomaine.be/robots.txt. Il donne aux robots d'exploration, ceux des moteurs de recherche et d'autres services, des instructions sur les parties de votre site qu'ils peuvent ou non visiter. C'est généralement l'un des premiers fichiers qu'un robot demande lorsqu'il arrive sur votre site.

À savoir : le robots.txt est une demande, pas un verrou sur la porte. Les moteurs de recherche connus respectent ses règles, mais le fichier ne protège rien. Les informations sensibles se protègent donc par un mot de passe ou un autre contrôle d'accès, pas par le robots.txt.

À quoi ressemble un fichier robots.txt ?

Le fichier se compose de groupes de règles, chacun destiné à un robot précis. Les éléments principaux sont :

• User-agent : le robot auquel les règles s'appliquent, par exemple Googlebot ou un astérisque pour tous les robots.
• Disallow : les chemins que le robot ne peut pas explorer, comme un panier d'achat ou des résultats de recherche internes.
• Allow : les exceptions au sein d'un dossier bloqué.
• Sitemap : l'emplacement de votre sitemap, pour que les robots trouvent plus facilement vos pages importantes.

Explorer n'est pas indexer

Une idée reçue courante veut qu'on tienne une page hors de Google en la bloquant dans le robots.txt. Ce n'est pas tout à fait exact. Le robots.txt empêche que la page soit explorée, mais si d'autres sites pointent vers elle, l'URL peut tout de même apparaître dans les résultats, sans description. Si vous voulez vraiment tenir une page à l'écart de l'indexation, utilisez une instruction noindex et laissez justement la page explorable, pour que Google puisse lire cette instruction.

Les erreurs fréquentes

• Après la mise en ligne d'un nouveau site, une règle qui bloque tout le site reste en place, reprise de l'environnement de test.
• Les fichiers CSS et JavaScript sont bloqués, si bien que Google ne peut pas afficher correctement votre page.
• Des dossiers importants sont exclus par erreur à cause d'une règle trop large.
• Le robots.txt sert à « cacher » des documents confidentiels, alors que le fichier lui-même est lisible par tous.

Une boutique en ligne de Charleroi constate par exemple après une migration que ses nouvelles pages produits n'apparaissent pas dans Google. La cause : la règle de test « Disallow: / » figurait toujours dans le fichier en ligne.

Ces erreurs sont faciles à éviter. Intégrez le robots.txt à votre checklist à chaque mise en ligne ou migration, vérifiez le fichier après toute modification importante de votre site et utilisez le rapport robots.txt de Google Search Console pour voir quelle version Google a récupérée et si elle contient des erreurs. Gardez aussi le fichier aussi simple que possible : moins il y a de règles, moins il y a de risques d'erreur.

Robots.txt et robots d'IA

Les entreprises d'IA utilisent elles aussi des robots, comme GPTBot d'OpenAI, PerplexityBot ou Google-Extended, une instruction distincte qui vous permet de décider si votre contenu peut être utilisé pour les modèles d'IA de Google. Le robots.txt vous permet de choisir, robot par robot, ce que vous autorisez. C'est un arbitrage stratégique : bloquer complètement les robots d'IA peut aussi réduire vos chances d'apparaître comme source dans les réponses IA. Regardez donc ce que fait chaque robot avant de l'autoriser ou de le bloquer, et gardez à l'esprit que tous les robots ne suivent pas les règles avec la même rigueur.

Vous vous demandez si votre robots.txt bloque des pages importantes ? Une analyse technique de votre site repère rapidement ces blocages et les conflits avec votre sitemap.