Un fichier robots.txt bien rédigé vous aide à guider le comportement des robots des moteurs de recherche.
Votre site web est votre atout marketing entrant le plus puissant, il est donc crucial de gérer stratégiquement les pages auxquelles les moteurs de recherche peuvent accéder. Avec robots.txt, vous pouvez bloquer les pages non essentielles des robots d'exploration des moteurs de recherche pour garantir que votre contenu le plus précieux reçoive l'attention et la priorité d'indexation, maintenant une présence ciblée et de haute qualité dans les résultats de recherche.
Un fichier robots.txt fournit des directives qui vous donnent le contrôle sur la façon dont différents robots d'exploration explorent le site de votre entreprise. Poursuivez votre lecture pour découvrir comment fonctionnent les robots d'exploration, ce qu'ils recherchent dans un fichier robots.txt, et comment les rédiger.
Qu'est-ce qu'un fichier robots.txt ?
Ces fichiers texte brut sont placés dans le répertoire racine d'un site et indiquent aux robots d'exploration des moteurs de recherche comme Googlebot et Bingbot quelles pages explorer et lesquelles ignorer.
Selon le volume de trafic, les robots des moteurs de recherche peuvent essayer d'explorer votre site quotidiennement, ce qui pourrait surcharger le serveur web et ralentir les temps de chargement. Mais avec un fichier robots.txt, vous pouvez identifier les pages et ressources que les robots devraient ignorer, réduisant ainsi le nombre de requêtes que le serveur web de votre entreprise doit traiter.
Pourquoi robots.txt est-il essentiel pour le SEO ?
Les robots d'exploration peuvent consommer beaucoup de puissance de traitement, surtout si plusieurs explorent simultanément le site de votre entreprise. Un fichier robots.txt vous donne un certain contrôle sur la façon dont ils explorent votre contenu, ce qui peut apporter les avantages SEO suivants.
Budget d'exploration optimisé
Les moteurs de recherche évaluent l'autorité, la vitesse et la taille d'un site pour déterminer combien de temps ils sont prêts à consacrer de ressources à son exploration. Utilisez votre fichier robots.txt pour exclure les fichiers inutiles afin que les robots découvrent les pages importantes pendant leur temps limité sur votre site.
Contenu dupliqué bloqué
Le contenu dupliqué ou redondant peut entraîner des problèmes de canonicalisation où les moteurs de recherche ne peuvent pas déterminer quelle page est la meilleure source de vérité. Sans cette information, ils ne peuvent pas choisir le meilleur résultat à afficher pour une requête de recherche connexe. Exclure tout sauf le contenu le plus précis évite à votre site d'être pénalisé avec des positions plus basses sur les pages de résultats de recherche.
Puissance de traitement préservée
Les robots d'exploration sont extrêmement bien optimisés pour affecter le moins possible votre serveur web. Mais l'impact reste mesurable, et un fichier robots.txt vous donne un certain contrôle sur l'ampleur de cet impact sur la performance de votre site.
Par exemple, votre fichier robots.txt peut exclure les gros fichiers vidéo de l'exploration afin que votre serveur web n'ait pas besoin de gaspiller de la puissance à les fournir à un robot. Vos processeurs peuvent plutôt se concentrer sur le chargement des pages pour les visiteurs du site, ce que Google et d'autres moteurs de recherche prennent en compte lors du classement des pages.
Comment fonctionne un fichier robots.txt ?
Les fichiers robots.txt établissent des règles que les robots d'exploration vérifient avant d'explorer un site. Vous organisez ces règles en groupes qui s'appliquent à certains ou tous les robots, appelés « agents utilisateurs » dans le fichier lui-même. Définissez des règles pour des agents utilisateurs spécifiques ou utilisez un astérisque (*) pour désigner tous les robots (sauf ceux qui ignorent l'astérisque, comme AdsBot-Google et AdsBot-Google-Mobile).
Avec les fichiers robots.txt, vous pouvez définir des directives pour tout ce qui se trouve sur votre site, comme :
- Pages web — fichiers HTML, PDF et XML que vous ne voulez pas que les robots explorent
- Répertoires et sous-répertoires — des sections entières de votre site que vous voulez que les robots évitent
- Fichiers médias — images, vidéos ou fichiers audio inutilisés ou peu importants
- Fichiers de ressources — scripts ou fichiers de style qui n'offrent pas d'informations précieuses aux moteurs de recherche
Syntaxe de robots.txt
Chaque groupe commence par un ou plusieurs agents utilisateurs, suivis de toutes les règles que vous voulez qu'ils suivent. Tout est sensible à la casse, alors vérifiez bien votre écriture.
Le groupe suivant indiquerait au robot de Google, Googlebot, de ne pas explorer une page appelée « example-file.html » :
User-agent: Googlebot
Disallow: /example-file.html
Voici toutes les directives que vous pouvez utiliser dans un groupe robots.txt :
- User-agent — le(s) robot(s) que le groupe doit cibler
- Disallow — tout ce que vous ne voulez pas que l'agent utilisateur explore
- Allow — tout ce que vous voulez que l'agent utilisateur explore, même dans un répertoire interdit
- Sitemap — un lien vers un fichier qui liste toutes les URL d'un site
- Crawl-delay — combien de secondes l'agent utilisateur doit attendre entre l'exploration des fichiers (bien que la plupart des moteurs de recherche, dont Google et Yandex, ignorent cette directive)
Voici un exemple de fichier robots.txt qui crée des règles spécifiquement pour Googlebot et Bingbot :
User-agent: Googlebot
User-agent: Bingbot
Disallow: /no-crawl/
Allow: /no-crawl/except-this-one.html
Crawl-delay: 3
Sitemap: https://www.example.com/sitemap.xml
Ce fichier robots.txt spécifie que Googlebot et Bingbot ne devraient pas explorer le sous-dossier /no-crawl/, sauf pour un fichier spécifique, except-this-one.html, au sein de ce répertoire. La directive Crawl-delay définit une pause de 3 secondes entre chaque requête pour éviter la surcharge du serveur, et la directive Sitemap fournit l'emplacement du sitemap, ce qui aide les moteurs de recherche à comprendre plus efficacement la structure du site.

Unlock growth with SEO
Join Webflow and leading growth agency Graphite as they discuss actionable insights for scaling and achieving growth with SEO
Comment créer un fichier robots.txt en 4 étapes
Voici un processus simple pour créer un fichier robots.txt et le télécharger sur votre site.
1. Créez un nouveau fichier TXT
Ouvrez un éditeur de texte basique comme Notepad ou TextEdit. N'utilisez pas de traitement de texte comme Microsoft Word, car il utilise des caractères comme des guillemets courbes que les robots n'analysent pas correctement.
Créez un nouveau fichier, nommez-le « robots », et enregistrez-le en tant que fichier TXT. Rappelez-vous que le nom est sensible à la casse et doit être en minuscules. Si l'option est disponible, sélectionnez l'encodage UTF-8.
2. Rédigez les règles
Utilisez le guide de syntaxe ci-dessus pour écrire des règles pour les agents utilisateurs que vous voulez affecter. Voici une liste des agents utilisateurs les plus courants :
- Google :
- Googlebot
- AdsBot-Google*
- AdsBot-Google-Mobile*
- GoogleOther
- Bing :
- Bingbot
- AdIdxBot
- Applebot
- YandexBot
- DuckDuckBot
- Baiduspider
- Facebot
- Slurp
* Ces deux robots d'exploration ignorent la valeur d'agent utilisateur astérisque (*). Votre fichier TXT doit explicitement s'adresser à ces agents.
3. Téléchargez le fichier
Téléchargez votre fichier robots.txt dans le répertoire racine de votre site. Ce processus dépend de votre plateforme de développement web.
Webflow crée automatiquement un fichier robots.txt pour votre site lorsque vous le créez. Vous pouvez ensuite ajouter vos règles robots.txt et votre sitemap au fichier dans l'onglet SEO sous Paramètres du site.
4. Testez le fichier
Pour vérifier si votre fichier est actif, naviguez vers son URL dans une fenêtre de navigateur.
Lorsque vous êtes prêt à tester si le fichier fonctionne, vérifiez divers outils de moteurs de recherche comme Google Search Console, qui fournissent des journaux pour chaque exploration de votre site. Examinez ces enregistrements pour voir si les robots ont ignoré les pages que vous avez exclues.
Limites d'un fichier robots.txt
Votre fichier robots.txt vous donnera un certain contrôle sur la façon dont les robots explorent le site de votre entreprise, mais il souffre de quelques limites. En voici quelques-unes à garder en tête lors de la rédaction des règles de votre fichier.
Tous les robots d'exploration ne sont pas bienveillants
Des acteurs malveillants créent des robots qui ignorent le fichier robots.txt afin de pouvoir extraire des données de votre site ou rechercher des vulnérabilités de sécurité. Comme ces « mauvais robots » utilisent les mêmes processus que les bons, il n'existe aucun moyen de les empêcher d'explorer votre site sans entraver les bons robots.
Les règles spécifiques à un robot remplacent les règles générales
Si vous avez des règles pour des robots spécifiques, ils les suivront et ignoreront les règles générales. Cela signifie que vous devrez répéter toute règle générale qui devrait aussi leur être appliquée.
Par exemple, avec les groupes suivants dans votre fichier robots.txt, Bingbot n'explorera pas un fichier HTML appelé « no-bing.html », mais il explorera le répertoire /no-crawl/.
User-agent: *
Disallow: /no-crawl/
User-agent: Bingbot
Disallow: /no-bing.html
Pour corriger cela, ajoutez une nouvelle règle « Disallow » au groupe Bingbot comme ceci :
User-agent: Bingbot
Disallow: /no-crawl/
Disallow: /no-bing.html
Robots.txt contrôle l'exploration, pas l'indexation
L'exploration est le processus de découverte et de compréhension des pages web, tandis que l'indexation implique de stocker et d'organiser ce contenu pour le rendre consultable.
Un fichier robots.txt empêche les robots des moteurs de recherche d'explorer certaines pages, mais il n'affecte pas leur indexation. Heureusement, il existe une solution simple : pour empêcher un robot d'indexer votre page, utilisez une balise robots noindex.
Par exemple, même si vous bloquez une page dans votre fichier robots.txt, les moteurs de recherche pourraient toujours afficher cette page dans les résultats. Mais ces plateformes n'auront ni description, ni image, ni contenu à afficher dans le résultat : elles n'auront qu'un titre basé sur le slug de l'URL. Si vous utilisez noindex pour empêcher un robot d'indexer une page, le moteur de recherche ne saura même pas que le contenu existe, donc il n'apparaîtra pas dans les résultats de recherche.
À noter : Google ne pourra voir la balise noindex que si vous supprimez la règle robots.txt afin qu'il puisse explorer la page.
Les fichiers interdits peuvent tout de même être explorés s'ils sont référencés à l'extérieur
Les robots des moteurs de recherche ne vérifient pas le fichier robots.txt lorsqu'ils suivent des liens externes. Si un robot explore un autre site qui crée un lien vers une page de votre site, il la découvrira et l'explorera même si vous avez défini une règle disallow pour elle. Comme mentionné plus haut, vous devrez placer une balise robots noindex dans les métadonnées de la page pour éviter cela.
Optimiser les fichiers robots.txt avec Webflow
Un fichier robots.txt bien ajusté vous donne plus de contrôle sur la façon dont les robots des moteurs de recherche explorent votre site, ce qui vous aide à optimiser la performance et le SEO de votre site. Bien que le fichier lui-même soit relativement léger, sa création nécessite beaucoup de planification pour garantir que vous excluez les bons fichiers, créez des règles cohérentes, et identifiez les bons agents utilisateurs.
Avec Webflow, vous pouvez créer un fichier robots.txt pour votre site et utiliser nos outils SEO intégrés pour gérer la visibilité de votre site dans les moteurs de recherche. Utilisez ces fonctionnalités pour établir une présence web cohérente et étendue qui génère du trafic.
Commencez dès aujourd'hui avec Webflow pour profiter de ces avantages.

Unleash your creativity on the web
Build completely custom, production-ready websites — or ultra-high-fidelity prototypes — without writing a line of code. Only with Webflow.









