Le fichier Robots.txt indique aux moteurs de recherche comment explorer votre site Web, ce qui en fait un outil de référencement extrêmement puissant. Dans cet article, nous allons vous montrer comment créer un fichier robots.txt parfait pour le référencement.
Qu’est-ce que le fichier robots.txt?
Robots.txt est un fichier texte que les propriétaires de sites Web peuvent créer pour indiquer aux moteurs de recherche comment analyser et indexer les pages de leurs sites.
Il est généralement stocké dans le répertoire racine, également appelé dossier principal de votre site Web. Le format de base d’un fichier robots.txt ressemble à ceci:
User-agent: [user-agent name] Disallow: [URL string not to be crawled] User-agent: [user-agent name] Allow: [URL string to be crawled] Sitemap: [URL of your XML Sitemap]
Vous pouvez avoir plusieurs lignes d’instructions pour autoriser ou interdire des URL spécifiques et ajouter plusieurs sitemaps. Si vous n’autorisez pas une URL, les robots des moteurs de recherche supposent qu’ils sont autorisés à l’explorer.
Voici à quoi peut ressembler un exemple de fichier robots.txt:
User-Agent: * Allow: /wp-content/uploads/ Disallow: /wp-content/plugins/ Disallow: /wp-admin/ Sitemap: https://example.com/sitemap_index.xml
Dans l’exemple de fichier robots.txt ci-dessus, nous avons autorisé les moteurs de recherche à analyser et indexer les fichiers de notre uploads de WordPress.
Après cela, nous avons interdit aux robots de rechercher, d’analyser et d’indexer les plugins et le dossier wp-admin de WordPress.
Enfin, nous avons fourni l’URL de notre sitemap XML.
Avez-vous besoin d’un fichier Robots.txt pour votre site WordPress?
Si vous ne possédez pas de fichier robots.txt, les moteurs de recherche continueront à explorer et à indexer votre site Web. Cependant, vous ne pourrez pas indiquer aux moteurs de recherche quelles pages ou quels dossiers qui’ils ne doivent pas explorer.
Cela n’aura pas beaucoup d’impact lorsque vous commencez un blog et que vous n’avez pas beaucoup de contenu.
Cependant, à mesure que votre site Web se développe et que vous avez beaucoup de contenu, vous voudrez probablement mieux contrôler la façon dont votre site Web est exploré et indexé.
Voici pourquoi.
Les robots de recherche ont un quota d’analyse pour chaque site Web.
Cela signifie qu’ils explorent un certain nombre de pages au cours d’une session d’analyse. S’ils ne terminent pas l’exploration de toutes les pages de votre site, ils reviendront et reprendront l’exploration lors de la prochaine session.
Cela peut ralentir le taux d’indexation de votre site Web.
Vous pouvez résoudre ce problème en empêchant les robots de recherche d’essayer d’explorer des pages inutiles telles que vos pages d’administrateur WordPress, vos fichiers de plugin et votre dossier de thèmes.
En refusant les pages inutiles, vous enregistrez votre quota d’analyse. Cela aide les moteurs de recherche à explorer encore plus de pages de votre site et à les indexer le plus rapidement possible.
Une autre bonne raison d’utiliser le fichier robots.txt est lorsque vous souhaitez empêcher les moteurs de recherche d’indexer une publication ou une page de votre site Web.
Ce n’est pas le moyen le plus sûr de cacher du contenu au grand public, mais cela vous aidera à empêcher leur apparition dans les résultats de recherche.
À quoi un fichier Robots.txt Idéal devrait-il ressembler?
De nombreux blogs populaires utilisent un très simple fichier robots.txt. Leur contenu peut varier en fonction des besoins du site spécifique:
User-agent: * Disallow: Sitemap: http://www.example.com/post-sitemap.xml Sitemap: http://www.example.com/page-sitemap.xml
Ce fichier robots.txt permet à tous les robots d’indexer tout le contenu du site et de leur Fournir un lien vers les sitemaps XML du site .
Pour les sites WordPress, nous recommandons les règles suivantes dans le fichier robots.txt:
User-Agent: * Allow: /wp-content/uploads/ Disallow: /wp-content/plugins/ Disallow: /wp-admin/ Disallow: /readme.html Disallow: /refer/ Sitemap: http://www.example.com/post-sitemap.xml Sitemap: http://www.example.com/page-sitemap.xml
Cela dit aux robots de rechercher et d’indexer toutes les images et tous les fichiers WordPress. Il interdit aux robots d’indexer les fichiers du dossier plugin de WordPress, la zone d’administration de WordPress, le fichier readme de WordPress et les liens d’affiliation.
En ajoutant des sitemaps au fichier robots.txt, vous aidez Google bots à trouver facilement toutes les pages de votre site.
Maintenant que vous savez à quoi ressemble un fichier robots.txt idéal, voyons comment créer un fichier robots.txt sous WordPress.
Comment créer un fichier Robots.txt dans WordPress?
Il existe deux manières pour créer un fichier robots.txt dans WordPress. Vous pouvez choisir la méthode qui vous convient le mieux.
Méthode 1: Modification du fichier Robots.txt à l’aide de plugin Yoast SEO
Si vous utilisez le plugin Yoast SEO , il est livré avec un générateur de fichier robots.txt.
Vous pouvez l’utiliser pour créer et éditer un fichier robots.txt directement à partir de votre zone d’administration WordPress.
Allez simplement sur la page SEO »Outils de votre tableau de bord de WordPress et cliquez sur le lien Editeur de fichier.
Sur la page suivante, Yoast SEO affiche votre fichier robots.txt existant.
Si vous n’avez pas de fichier robots.txt, Yoast SEO générera un fichier robots.txt pour vous.
Par défaut, le générateur de fichier robots.txt de Yoast SEO ajoute les règles suivantes à votre fichier robots.txt:
User-agent: * Disallow: /
Il est important de supprimer ce texte car il empêche tous les moteurs de recherche d’analyser votre site Web.
Après avoir supprimé le texte par défaut, vous pouvez continuer et ajouter vos propres règles robots.txt. Nous vous recommandons d’utiliser le format idéal robots.txt que nous avons partagé ci-dessus.
Une fois que vous avez terminé, n’oubliez pas de cliquer sur le bouton « Enregistrer le fichier robots.txt » pour enregistrer vos modifications.
Méthode 2. Modifier le fichier Robots.txt manuellement à l’aide de FTP
Pour cette méthode, vous devrez utiliser un client FTP pour modifier le fichier robots.txt.
Connectez-vous simplement à votre hébergement WordPress en utilisant un client FTP.
Une fois à l’intérieur, vous pourrez voir le fichier robots.txt dans le dossier racine de votre site Web.
Si vous n’en voyez pas, vous n’avez probablement pas de fichier robots.txt. Dans ce cas, vous pouvez simplement en créer un.
Robots.txt est un fichier texte, ce qui signifie que vous pouvez le télécharger sur votre ordinateur et le modifier à l’aide de n’importe quel éditeur de texte tel que Notepad ou TextEdit.
Après avoir enregistré vos modifications, vous pouvez les réimporter dans le dossier racine de votre site Web.
Comment tester votre fichier Robots.txt?
Une fois que vous avez créé votre fichier robots.txt, il est toujours judicieux de le tester à l’aide d’un outil de test robots.txt.
Il existe de nombreux outils de test robots.txt, mais nous vous recommandons d’utiliser celui qui se trouve dans la console de recherche Google .
Connectez-vous simplement à votre compte Google Search Console, puis basculez vers l’ancien site Web de Google Search Console.
Cela vous mènera à l’ancienne interface de la console de recherche Google. À partir de là, vous devez lancer l’outil de test robots.txt situé dans le menu « Analyse ».
L’outil récupère automatiquement le fichier robots.txt de votre site Web et met en évidence les erreurs et les avertissements. Le test du fichier robots.txt permet de vérifier que toutes les URLs importantes peuvent être indexées par Google.
L’optimisation de votre fichier robots.txt a pour objectif d’empêcher les moteurs de recherche d’analyser des pages qui ne sont pas accessibles au public. Par exemple, les pages de votre dossier wp-plugins ou les pages de votre dossier wp-admin .
Un mythe répandu parmi les experts en référencement est que le blocage de catégories, de balises et de pages d’archives WordPress améliore le taux d’exploration et permet d’indexer rapidement les pages de votre site.
Ce n’est pas vrai. Cela va également à l’encontre des recommandations du Google Webmaster.
Nous vous recommandons de suivre le format robots.txt ci-dessus pour créer un fichier robots.txt pour votre site Web.
Pour conclure, si vous souhaitez avoir la maîtrise de l’indexation de votre site internet, la création d’un fichier robots.txt est indispensable. Si aucun fichier n’est présent, toutes les urls trouvées par les robots seront indexées et se retrouveront dans les résultats des moteurs de recherche.
Nous espérons que cet article vous a aidé à optimiser votre fichier robots.txt WordPress pour le référencement.
Laisser un commentaire