Robot.txt et exploration google

Les outils pour webmaster de google évolue en permanence et les mises à jours sont souvent obscure, mais hier une mise à jour particulièrement utiles a fait sont apparition, vous pouvez dés à présent tester votre fichier Robot.txt. Pour rappel ce fichier placé à la racine de votre site permet de définir les autorisations d’exploration des moteurs de recherche, pour bloquer vos page d’administration par exemple, ou encore pour définir l’emplacement de votre sitemap. la rédaction de ce fichier et assez simple dans sa syntaxe :

user-agent: *

Disallow: /cgi-bin
Disallow: /wp-login.php
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /*?

l’astérisque permet de sélectionner tout les robots, si vous le souhaitez vous pouvez définir des règles pour un agent en particulier vous trouverez une liste des agents ici.
la commande disallow interdit au robots l’accés au url que vous définissez. vous pouvez aussi bloquer des fichiers par extensions.

Disallow: /*.php$

et enfin vous définissez le sitemap

Sitemap: http://www.occitaweb.fr/sitemap.xml

Une fois rédigé vous pouvez le tester ici, la mise à jour vous permettras de vérifier en direct le bon fonctionnement de votre robot.txt, en affichant en surbrillance les lignes actives.

Laisser un commentaire

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *

*

© 2017 Occitaweb formation WordPress et média sociaux