Crawl

Avant qu'un moteur de recherche puisse afficher votre page, il doit d'abord savoir qu'elle existe et ce qu'elle contient. C'est le rôle du crawl, ou exploration : des programmes automatisés, appelés robots d'exploration, crawlers ou bots, passent de lien en lien et récupèrent le contenu des pages. Googlebot est le plus connu, mais Bing et les entreprises d'IA derrière ChatGPT, Perplexity et d'autres outils envoient aussi leurs propres robots.

Le crawl est la première étape d'une série. Après la récupération viennent le traitement et éventuellement l'ajout à l'index, et ce n'est qu'ensuite qu'une page peut apparaître dans les résultats de recherche ou dans une réponse IA. Une page qui n'est jamais explorée reste en principe invisible pour ces systèmes.

Comment un robot trouve-t-il vos pages ?

Les robots découvrent de nouvelles URL de plusieurs façons :

• Par les liens : à partir de pages déjà connues, ils suivent les liens vers d'autres pages, aussi bien au sein de votre site que depuis d'autres sites.
• Par votre sitemap : un fichier XML qui répertorie vos URL les plus importantes.
• Par des demandes manuelles : dans Google Search Console, vous pouvez faire inspecter une URL et demander son indexation.

Une page vers laquelle aucun lien ne pointe, ce qu'on appelle une page orpheline, est donc difficile à trouver. De bons liens internes sont essentiels.

Qu'est-ce qui détermine si un robot peut lire votre contenu ?

Être trouvé est une chose, être lu en est une autre. Plusieurs facteurs entrent en jeu :

• Votre robots.txt indique aux robots quelles parties de votre site ils ne peuvent pas visiter. Une mauvaise règle peut fermer par erreur l'accès à tout votre site.
• Les erreurs serveur et les réponses lentes peuvent amener les robots à récupérer moins de pages.
• JavaScript : Google sait effectuer le rendu du JavaScript, mais cela se fait parfois plus tard. Beaucoup de robots d'IA n'exécutent probablement pas ou peu de JavaScript, si bien que le contenu qui n'apparaît qu'au moyen de scripts peut leur rester invisible.
• Connexion et formulaires : les robots ne peuvent pas atteindre le contenu protégé par un identifiant.

Le crawl par les robots d'IA

De plus en plus d'entreprises se demandent si elles doivent autoriser les robots d'IA. Certains robots collectent des données pour entraîner des modèles de langage, d'autres récupèrent des pages en direct pour répondre à la question d'un utilisateur. Si vous bloquez ce second groupe, vous réduisez les chances que ChatGPT Search ou Perplexity utilisent votre page comme source. C'est donc un arbitrage à faire en connaissance de cause. Le fichier llms.txt est une proposition plus récente pour donner aux systèmes d'IA un aperçu de votre contenu le plus important, même si sa prise en charge reste limitée.

Un exemple : le nouveau site d'un cabinet dentaire

Un cabinet dentaire à Liège met en ligne un nouveau site. Pendant le développement, le site était à juste titre fermé aux moteurs de recherche, mais ce blocage dans le robots.txt est resté en place lors de la mise en ligne. Des semaines plus tard, le site est toujours introuvable dans Google. Une fois la règle supprimée et le sitemap soumis dans Search Console, les pages sont de nouveau explorées. C'est une erreur fréquente, que vous évitez avec un simple contrôle après chaque mise en ligne.

Vérifier que votre site est bien exploré

1. Consultez dans Google Search Console le rapport sur les statistiques d'exploration et l'état de vos pages.
2. Testez vos URL importantes avec l'outil d'inspection d'URL.
3. Vérifiez que votre robots.txt ne contient pas de blocages involontaires, y compris pour les robots d'IA.
4. Recherchez les pages orphelines et les liens cassés.
5. Vérifiez que votre texte principal figure dans le HTML et n'est pas uniquement chargé via JavaScript.

Pour les grands sites, le budget de crawl entre aussi en ligne de compte. Vous voulez faire vérifier tout cela en profondeur ? Une analyse SEO technique cartographie clairement les problèmes d'exploration et les blocages.