Robots, robots d'exploration et SEO : comprendre le fichier robots.txt

Learn how to write robots.txt files that control how search engine bots crawl your site. Discover how these files can affect your SEO performance.

Robots, robots d'exploration et SEO : comprendre le fichier robots.txt

Table of contents

Unleash your creativity on the web

Build completely custom, production-ready websites — or ultra-high-fidelity prototypes — without writing a line of code. Only with Webflow.

→
↗
►
↓
←
↑

Unleash your creativity on the web

Build completely custom, production-ready websites — or ultra-high-fidelity prototypes — without writing a line of code. Only with Webflow.

→
↗
►
↓
←
↑

Un fichier robots.txt bien rédigé vous aide à guider le comportement des robots des moteurs de recherche.

Votre site web est votre atout marketing entrant le plus puissant, il est donc crucial de gérer stratégiquement les pages auxquelles les moteurs de recherche peuvent accéder. Avec robots.txt, vous pouvez bloquer les pages non essentielles des robots d'exploration des moteurs de recherche pour garantir que votre contenu le plus précieux reçoive l'attention et la priorité d'indexation, maintenant une présence ciblée et de haute qualité dans les résultats de recherche.

Un fichier robots.txt fournit des directives qui vous donnent le contrôle sur la façon dont différents robots d'exploration explorent le site de votre entreprise. Poursuivez votre lecture pour découvrir comment fonctionnent les robots d'exploration, ce qu'ils recherchent dans un fichier robots.txt, et comment les rédiger.

Qu'est-ce qu'un fichier robots.txt ?

Ces fichiers texte brut sont placés dans le répertoire racine d'un site et indiquent aux robots d'exploration des moteurs de recherche comme Googlebot et Bingbot quelles pages explorer et lesquelles ignorer.

Selon le volume de trafic, les robots des moteurs de recherche peuvent essayer d'explorer votre site quotidiennement, ce qui pourrait surcharger le serveur web et ralentir les temps de chargement. Mais avec un fichier robots.txt, vous pouvez identifier les pages et ressources que les robots devraient ignorer, réduisant ainsi le nombre de requêtes que le serveur web de votre entreprise doit traiter.

Pourquoi robots.txt est-il essentiel pour le SEO ?

Les robots d'exploration peuvent consommer beaucoup de puissance de traitement, surtout si plusieurs explorent simultanément le site de votre entreprise. Un fichier robots.txt vous donne un certain contrôle sur la façon dont ils explorent votre contenu, ce qui peut apporter les avantages SEO suivants.

Budget d'exploration optimisé

Les moteurs de recherche évaluent l'autorité, la vitesse et la taille d'un site pour déterminer combien de temps ils sont prêts à consacrer de ressources à son exploration. Utilisez votre fichier robots.txt pour exclure les fichiers inutiles afin que les robots découvrent les pages importantes pendant leur temps limité sur votre site.

Contenu dupliqué bloqué

Le contenu dupliqué ou redondant peut entraîner des problèmes de canonicalisation où les moteurs de recherche ne peuvent pas déterminer quelle page est la meilleure source de vérité. Sans cette information, ils ne peuvent pas choisir le meilleur résultat à afficher pour une requête de recherche connexe. Exclure tout sauf le contenu le plus précis évite à votre site d'être pénalisé avec des positions plus basses sur les pages de résultats de recherche.

Puissance de traitement préservée

Les robots d'exploration sont extrêmement bien optimisés pour affecter le moins possible votre serveur web. Mais l'impact reste mesurable, et un fichier robots.txt vous donne un certain contrôle sur l'ampleur de cet impact sur la performance de votre site. 

Par exemple, votre fichier robots.txt peut exclure les gros fichiers vidéo de l'exploration afin que votre serveur web n'ait pas besoin de gaspiller de la puissance à les fournir à un robot. Vos processeurs peuvent plutôt se concentrer sur le chargement des pages pour les visiteurs du site, ce que Google et d'autres moteurs de recherche prennent en compte lors du classement des pages.

Comment fonctionne un fichier robots.txt ?

Les fichiers robots.txt établissent des règles que les robots d'exploration vérifient avant d'explorer un site. Vous organisez ces règles en groupes qui s'appliquent à certains ou tous les robots, appelés « agents utilisateurs » dans le fichier lui-même. Définissez des règles pour des agents utilisateurs spécifiques ou utilisez un astérisque (*) pour désigner tous les robots (sauf ceux qui ignorent l'astérisque, comme AdsBot-Google et AdsBot-Google-Mobile).

Avec les fichiers robots.txt, vous pouvez définir des directives pour tout ce qui se trouve sur votre site, comme :

  • Pages web — fichiers HTML, PDF et XML que vous ne voulez pas que les robots explorent
  • Répertoires et sous-répertoires — des sections entières de votre site que vous voulez que les robots évitent
  • Fichiers médias — images, vidéos ou fichiers audio inutilisés ou peu importants
  • Fichiers de ressources — scripts ou fichiers de style qui n'offrent pas d'informations précieuses aux moteurs de recherche

Syntaxe de robots.txt 

Chaque groupe commence par un ou plusieurs agents utilisateurs, suivis de toutes les règles que vous voulez qu'ils suivent. Tout est sensible à la casse, alors vérifiez bien votre écriture. 

Le groupe suivant indiquerait au robot de Google, Googlebot, de ne pas explorer une page appelée « example-file.html » :

User-agent: Googlebot
Disallow: /example-file.html

Voici toutes les directives que vous pouvez utiliser dans un groupe robots.txt :

  • User-agent — le(s) robot(s) que le groupe doit cibler
  • Disallow — tout ce que vous ne voulez pas que l'agent utilisateur explore
  • Allow — tout ce que vous voulez que l'agent utilisateur explore, même dans un répertoire interdit
  • Sitemap — un lien vers un fichier qui liste toutes les URL d'un site
  • Crawl-delay — combien de secondes l'agent utilisateur doit attendre entre l'exploration des fichiers (bien que la plupart des moteurs de recherche, dont Google et Yandex, ignorent cette directive)

Voici un exemple de fichier robots.txt qui crée des règles spécifiquement pour Googlebot et Bingbot :

User-agent: Googlebot
User-agent: Bingbot
Disallow: /no-crawl/
Allow: /no-crawl/except-this-one.html
Crawl-delay: 3
Sitemap: https://www.example.com/sitemap.xml

Ce fichier robots.txt spécifie que Googlebot et Bingbot ne devraient pas explorer le sous-dossier /no-crawl/, sauf pour un fichier spécifique, except-this-one.html, au sein de ce répertoire. La directive Crawl-delay définit une pause de 3 secondes entre chaque requête pour éviter la surcharge du serveur, et la directive Sitemap fournit l'emplacement du sitemap, ce qui aide les moteurs de recherche à comprendre plus efficacement la structure du site. 

Unlock growth with SEO

Join Webflow and leading growth agency Graphite as they discuss actionable insights for scaling and achieving growth with SEO

→
↗
►
↓
←
↑
Read now

Comment créer un fichier robots.txt en 4 étapes

Voici un processus simple pour créer un fichier robots.txt et le télécharger sur votre site.

1. Créez un nouveau fichier TXT

Ouvrez un éditeur de texte basique comme Notepad ou TextEdit. N'utilisez pas de traitement de texte comme Microsoft Word, car il utilise des caractères comme des guillemets courbes que les robots n'analysent pas correctement. 

Créez un nouveau fichier, nommez-le « robots », et enregistrez-le en tant que fichier TXT. Rappelez-vous que le nom est sensible à la casse et doit être en minuscules. Si l'option est disponible, sélectionnez l'encodage UTF-8. 

2. Rédigez les règles

Utilisez le guide de syntaxe ci-dessus pour écrire des règles pour les agents utilisateurs que vous voulez affecter. Voici une liste des agents utilisateurs les plus courants : 

  • Google :
    • Googlebot
    • AdsBot-Google*
    • AdsBot-Google-Mobile*
    • GoogleOther
  • Bing :
    • Bingbot
    • AdIdxBot
  • Applebot
  • YandexBot
  • DuckDuckBot
  • Baiduspider
  • Facebot
  • Slurp

* Ces deux robots d'exploration ignorent la valeur d'agent utilisateur astérisque (*). Votre fichier TXT doit explicitement s'adresser à ces agents.

3. Téléchargez le fichier

Téléchargez votre fichier robots.txt dans le répertoire racine de votre site. Ce processus dépend de votre plateforme de développement web. 

Webflow crée automatiquement un fichier robots.txt pour votre site lorsque vous le créez. Vous pouvez ensuite ajouter vos règles robots.txt et votre sitemap au fichier dans l'onglet SEO sous Paramètres du site.

4. Testez le fichier

Pour vérifier si votre fichier est actif, naviguez vers son URL dans une fenêtre de navigateur.

Lorsque vous êtes prêt à tester si le fichier fonctionne, vérifiez divers outils de moteurs de recherche comme Google Search Console, qui fournissent des journaux pour chaque exploration de votre site. Examinez ces enregistrements pour voir si les robots ont ignoré les pages que vous avez exclues.

Limites d'un fichier robots.txt

Votre fichier robots.txt vous donnera un certain contrôle sur la façon dont les robots explorent le site de votre entreprise, mais il souffre de quelques limites. En voici quelques-unes à garder en tête lors de la rédaction des règles de votre fichier.

Tous les robots d'exploration ne sont pas bienveillants

Des acteurs malveillants créent des robots qui ignorent le fichier robots.txt afin de pouvoir extraire des données de votre site ou rechercher des vulnérabilités de sécurité. Comme ces « mauvais robots » utilisent les mêmes processus que les bons, il n'existe aucun moyen de les empêcher d'explorer votre site sans entraver les bons robots.

Les règles spécifiques à un robot remplacent les règles générales

Si vous avez des règles pour des robots spécifiques, ils les suivront et ignoreront les règles générales. Cela signifie que vous devrez répéter toute règle générale qui devrait aussi leur être appliquée. 

Par exemple, avec les groupes suivants dans votre fichier robots.txt, Bingbot n'explorera pas un fichier HTML appelé « no-bing.html », mais il explorera le répertoire /no-crawl/.

User-agent: *
Disallow: /no-crawl/
User-agent: Bingbot
Disallow: /no-bing.html

Pour corriger cela, ajoutez une nouvelle règle « Disallow » au groupe Bingbot comme ceci :

User-agent: Bingbot
Disallow: /no-crawl/
Disallow: /no-bing.html

Robots.txt contrôle l'exploration, pas l'indexation

L'exploration est le processus de découverte et de compréhension des pages web, tandis que l'indexation implique de stocker et d'organiser ce contenu pour le rendre consultable. 

Un fichier robots.txt empêche les robots des moteurs de recherche d'explorer certaines pages, mais il n'affecte pas leur indexation. Heureusement, il existe une solution simple : pour empêcher un robot d'indexer votre page, utilisez une balise robots noindex.

Par exemple, même si vous bloquez une page dans votre fichier robots.txt, les moteurs de recherche pourraient toujours afficher cette page dans les résultats. Mais ces plateformes n'auront ni description, ni image, ni contenu à afficher dans le résultat : elles n'auront qu'un titre basé sur le slug de l'URL. Si vous utilisez noindex pour empêcher un robot d'indexer une page, le moteur de recherche ne saura même pas que le contenu existe, donc il n'apparaîtra pas dans les résultats de recherche. 

À noter : Google ne pourra voir la balise noindex que si vous supprimez la règle robots.txt afin qu'il puisse explorer la page.

Les fichiers interdits peuvent tout de même être explorés s'ils sont référencés à l'extérieur

Les robots des moteurs de recherche ne vérifient pas le fichier robots.txt lorsqu'ils suivent des liens externes. Si un robot explore un autre site qui crée un lien vers une page de votre site, il la découvrira et l'explorera même si vous avez défini une règle disallow pour elle. Comme mentionné plus haut, vous devrez placer une balise robots noindex dans les métadonnées de la page pour éviter cela.

Optimiser les fichiers robots.txt avec Webflow

Un fichier robots.txt bien ajusté vous donne plus de contrôle sur la façon dont les robots des moteurs de recherche explorent votre site, ce qui vous aide à optimiser la performance et le SEO de votre site. Bien que le fichier lui-même soit relativement léger, sa création nécessite beaucoup de planification pour garantir que vous excluez les bons fichiers, créez des règles cohérentes, et identifiez les bons agents utilisateurs.

Avec Webflow, vous pouvez créer un fichier robots.txt pour votre site et utiliser nos outils SEO intégrés pour gérer la visibilité de votre site dans les moteurs de recherche. Utilisez ces fonctionnalités pour établir une présence web cohérente et étendue qui génère du trafic. 

Commencez dès aujourd'hui avec Webflow pour profiter de ces avantages.

Unleash your creativity on the web

Build completely custom, production-ready websites — or ultra-high-fidelity prototypes — without writing a line of code. Only with Webflow.

→
↗
►
↓
←
↑
Read now

Dernière mise à jour
mars 28, 2025
Catégorie

Related articles

Comment optimiser la navigation à facettes pour améliorer votre SEO
Comment optimiser la navigation à facettes pour améliorer votre SEO

Comment optimiser la navigation à facettes pour améliorer votre SEO

Comment optimiser la navigation à facettes pour améliorer votre SEO

Développement
By
Webflow Team
,
,
Read article
How to optimize your content for search engine web crawlers: 5 tips
How to optimize your content for search engine web crawlers: 5 tips

How to optimize your content for search engine web crawlers: 5 tips

How to optimize your content for search engine web crawlers: 5 tips

Stratégie
By
Webflow Team
,
,
Read article
Qu'est-ce que les métadonnées et comment boostent-elles le SEO de votre site ?
Qu'est-ce que les métadonnées et comment boostent-elles le SEO de votre site ?

Qu'est-ce que les métadonnées et comment boostent-elles le SEO de votre site ?

Qu'est-ce que les métadonnées et comment boostent-elles le SEO de votre site ?

Stratégie
By
Webflow Team
,
,
Read article
How to craft website copy that engages readers
How to craft website copy that engages readers

How to craft website copy that engages readers

How to craft website copy that engages readers

Stratégie
By
Webflow Team
,
,
Read article
How to add IDX to a real estate website
How to add IDX to a real estate website

How to add IDX to a real estate website

How to add IDX to a real estate website

Développement
By
Rease Rios
,
,
Read article

verifone logomonday.com logospotify logoted logogreenhouse logoclear logocheckout.com logoreddit logothe new york times logoideo logoupwork logodiscord logo
verifone logomonday.com logospotify logoted logogreenhouse logoclear logocheckout.com logoreddit logothe new york times logoideo logoupwork logodiscord logo

Lancez-vous gratuitement

Essayez Webflow aussi longtemps que vous le souhaitez avec notre forfait Starter gratuit. Souscrivez à un forfait Site payant pour publier, héberger et débloquer des fonctionnalités supplémentaires.

Get started — it’s free
Voir la démo

Essayez Webflow aussi longtemps que vous le souhaitez avec notre forfait Starter gratuit. Souscrivez à un forfait Site payant pour publier, héberger et débloquer des fonctionnalités supplémentaires.