Configurer les robots d'exploration et indexation sur Blogger

Avant de clôturer mon dernier article qui avait porté sur le paramétrage des préférences de recherche des blogs hébergés par blogger, j'avais promis de faire des recherches pour vous montrer comment configurer le sitemap et le fichier robots.txt de blog sur blogspot. C'est sur cela que nous allons nous pencher dans cet article.

Toutefois vous devez être prévenu que le responsable de ce blog ne peut pas être tenu responsable des effets négatifs que pourront avoir les manipulations ci-dessous évoquées sur l'audience de votre blog. Et puis, comme il n'est lié à Google ou à Blogger de près ou de loin, n'allez pas faire à ceux-ci un procès. A bon entendeur, Salut!

Maintenant que les choses sont claires, nous devons commencer par avoir des idées claires sur ce qu'est un fichier robot.txt et savoir à quoi il sert.

Dans un article portant sur les balises Meta sur le site alscacréation, fvsch nous informe que : "Le fichier robots.txt permet d’«interdire» l’accès à certaines pages ou certains dossiers aux robots d’indexation qui en respectent les directives (c’est le cas des moteurs de recherche majeurs). Il se place à la racine du domaine ou sous-domaine. Les fonctionnalités disponibles sont plus limitées qu’avec une balise META Robots, mais les directives d’un robots.txt ont l’avantage de s’appliquer de manière globale à un sous-domaine complet. Utiliser ce fichier est bien souvent suffisant pour gérer l’indexation ou la non-indexation des différentes pages d’un site."

Chez Google, nous lisons que : "Un fichier robots.txt est nécessaire uniquement si votre site contient des informations que vous ne souhaitez pas que les moteurs de recherche indexent. Si vous souhaitez que les moteurs de recherche indexent l'intégralité du contenu de votre site, tout fichier robots.txt (même vide) est inutile."

Pour rappel, afin d'effectuer les paramétrages que nous allons  voir, il vous faut vous connecter sur votre compte Blogger, aller sur "Paramètres" puis sur "Préférences de recherche.

1. Personnaliser le fichier robot.txt

Depuis quelques années, Blogger générait automatique un fichier robots.txt les blogs qu'il héberge, fichier consultable en allant sur l’adresse suivante http://lenomdevotreblog.blogspot.com/robots.txt (Changer « lenomdevotreblog » par le nom de votre blog).

Voici à quoi ressemble le fichier robot.txt généré par Blogger pour ce blog.


User-agent: Mediapartners-Google 
Disallow:


User-agent: * 
Disallow: /search
Allow: /


Sitemap: http://blogger-au-bout-du-doigt.blogspot.com/feeds/posts/default?orderby=updated

Si donc, vous voulez personnaliser votre fichier robots.txt, vous pouvez commencer par mettre celui généré par Blogger et y ajouter les spécifications que vous voulez.

Vous trouverez sur cette page de chez Google les informations nécessaires sur comment Bloquer et supprimer des pages avec un fichier robot.txt.

2. Personnaliser les balises d'en-tête robots

Toujours chez alsacreations nous lisons "L’en-tête HTTP X-Robots-Tag a été proposé par Google en 2006, et Yahoo! a annoncé son support en 2007. Il permet d’appliquer les mêmes directives que la balise META Robots."

La bonne nouvelle avec la possibilité que nous offre Blogger de personnaliser les balises d'en-tête robots, c'est que chacun peut maintenant dire aux moteurs de recherche comment il veut que ceux-ci indexent la page d'accueil, les pages archives et recherche ainsi que les pages d'articles et autres pages de son blog.

Voici une petite explication des valeurs que l'on retrouve dans le panneau de configuration de ces balises :

all: indexer et suivre les liens.

noindex : empêche l'indexation de la page.
nofollow : empêche le robot Googlebot de suivre les liens de cette page.
none: raccourci pour noindex, nofollow, noarchive.
noarchive : empêche Google d'afficher le lien En cache associé à une page. 
nosnippet : empêche l'affichage d'un extrait dans les résultats de recherche.  Indique donc d'utiliser le titre de page (et dans certains cas les sitelinks) uniquement (Google, Yahoo!)
noodp : empêche l'utilisation d'une description de remplacement tirée des sites ODP/DMOZ.
notranslate : empêche la traduction de vos pages dans les résultats de recherche.
noimageindex : permet d'indiquer que vous ne souhaitez pas faire apparaître votre page comme source d'une image apparaissant dans les résultats de recherche Google.
unavailable_after:[date] : permet de préciser l'heure et la date exactes auxquelles l'exploration et l'indexation de cette page doivent cesser.


Sachez qu'en activant les balises d'en-tête robots personnalisés, vous pourrez aussi personnaliser ces balises pour chacun de vos messages à partir de l'éditeur des messages.

Bon, je crois qu'avec ces informations, chacun de vous pourra se débrouiller pour personnaliser les robots d'explorations et d'indexation de son blog.

@+