Robot.txt et exploration google

17 juillet 2014
Posted in Outils
17 juillet 2014 Occitaweb

Les outils pour webmaster de google évolue en permanence et les mises à jours sont souvent obscure, mais hier une mise à jour particulièrement utiles a fait sont apparition, vous pouvez dés à présent tester votre fichier Robot.txt. Pour rappel ce fichier placé à la racine de votre site permet de définir les autorisations d’exploration des moteurs de recherche, pour bloquer vos page d’administration par exemple, ou encore pour définir l’emplacement de votre sitemap. la rédaction de ce fichier et assez simple dans sa syntaxe :

user-agent: *

Disallow: /cgi-bin
Disallow: /wp-login.php
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /*?

l’astérisque permet de sélectionner tout les robots, si vous le souhaitez vous pouvez définir des règles pour un agent en particulier vous trouverez une liste des agents ici.
la commande disallow interdit au robots l’accés au url que vous définissez. vous pouvez aussi bloquer des fichiers par extensions.

Disallow: /*.php$

et enfin vous définissez le sitemap

Sitemap: http://www.occitaweb.fr/sitemap.xml

Une fois rédigé vous pouvez le tester ici, la mise à jour vous permettras de vérifier en direct le bon fonctionnement de votre robot.txt, en affichant en surbrillance les lignes actives.

, ,

Occitaweb

Passionné par internet et le design. je suis toujours en recherche de nouveauté, de concept originaux et efficace pour les interfaces.

Laisser un commentaire

Occitaweb création de site internet Albi

Création / formation / réseaux sociaux
18 rue dominique de florence
81000 albi