Guide d'utilisation du fichier robots.txt

Procédure

Guide d'utilisation du fichier robots.txt

Si vous débutez dans le référencement, vous aurez besoin de créer un fichier robots.txt pour votre site.
Ce tutoriel va vous montrer l'objectif du fichier robots.txt et comment vous pouvez l'utiliser pour améliorer votre référencement.

Qu'est ce qu'un fichier robots.txt 

Robots.txt est un simple fichier texte que vous créez et placez à la racine de  votre site Web pour indiquer aux robots des moteurs de recherche d'accéder aux différentes pages Web de votre site.

Comment fonctionne un fichier  robots.txt: 

Lorsque les robots des moteurs de recherche  scannent votre site pour l'indexer , ils recherchent d'abord un fichier robots.txt dans le répertoire racine. Ce fichier contient les instructions sur les pages qu'ils peuvent analyser et indexer sur les SERP*  et sur lesquels ils ne peuvent pas indexer.

SERP: acronyme anglais signifiant Search Engine Result Page. 

Vous pouvez utiliser le fichier robots.txt pour:

•     Faire ignorer les pages en double de votre site par les robots de recherche
•     Ne pas indéxer certaines pages internes de votre site Web (par ex: votre panneau d'administration ou des pages qui contiennent des informations sensibles)
•     Limiter les robots pour indexer certaines parties de votre site ou tout le site
•     Interdire aux robots de recherche d'indexer certains fichiers présents sur votre site, tels que des images et des PDF 

Exemple de directives robots.txt 

  Si vous souhaitez empêcher les robots de visiter votre site et ne pas être réferencé par les moteurs de recherche, utilisez le code suivant:

User-agent: *
Disallow: /

Vous pouvez également empêcher les robots d’analyser des parties de votre site, tout en leur permettant d’analyser d’autres sections. L'exemple suivant demande aux moteurs de recherche et aux robots de ne pas analyser le dossier wp-admin, le dossier tmp, et le dossier privé  et tous les éléments de ces dossiers sur votre site Web.

User-agent: *
Disallow: /admin/
Disallow: /tmp/
Disallow: /prive/

Dans l'exemple ci-dessus, http://www.mon-domaine-lws.fr/prive/index.html correspond est  l'une des URL bloquées, mais http://www.mon-domaine-lws.fr/index.html et http://www.mon-domaine-lws.fr/ dossier/ sera explorable.

User-agent: * signifie  que la régle qui va suivre doit s'applique à tout les robots, vous pouvez sepcifier des robots particulier par exemple pour le robot Google: User-agent: Googlebot voici la liste complete des robots, http://www.robotstxt.org/db.html​

Fichier robots.txt pour WordPress

User-agent: *
Disallow: /wp-admin/         #interdire l'accès à la section d'administrateur
Disallow: /wp-login.php      #interdire l'accès à la page de login au tableau de bord
Disallow: /search/           #interdire l'accès aux page de résultats de recherche internes
Disallow: *?s=*              #interdire l'accès aux page de résultats de recherche internes
Disallow: *?p=*              #interdire l'accès aux pages dont les permaliens ne marchent pas
Disallow: *&p=*              #interdire l'accès aux pages dont les permaliens ne marchent pas
Disallow: *&preview=*        #interdire l'accès aux pages précédentes
Disallow: /tag/              #interdire l'accès aux tag pages
Disallow: /author/           #interdire l'accès aux pages d'auteur
Disallow: /404-error/        #interdire l'accès aux pages 404
Sitemap: https://www.mon-domaine-lwsfr/sitemap_index.xml 

Vous pouvez tester si votre fichier robots.txt bloque l'accés à certaines pages de votre site en ligne à l'aide l'outil Google Webmaster en visitant cette page et en cliquant sur Open Robots.txt Tester

Vous pouvez également génerer votre fichier robots.txt en ligne par le biais de cet outil 

Conclusion:

Robots.txt pourrait jouer un rôle important dans me positionnement de votre site sur les moteurs de reecherches. C’est la raison pour laquelle vous devez gérer ce  simple fichier avec importance et précaution.

N'hésitez pas à partager vos remarques et vos questions !