Un tri sélectif sur 200 critères

Pour rendre son site visible sur le moteur, il convient dans un premier temps de le rendre visible pour les robots d'indexation. Ce sont ces derniers qui copieront le contenu du site dans l'index du moteur.

"Quand un utilisateur entre une recherche, nos outils recherchent dans l'index pour trouver les pages appropriées et fournir les résultats les plus pertinents à l'utilisateur. Cette pertinence est déterminée à partir de 200 critères, dont l'un est le 'page rank' d'une page donnée", indique le livre blanc de Google.

Comme le précise le moteur dans ce document, son système d'algorithme est en perpétuelle évolution. Après avoir longtemps favorisé les sites anciens, il sait laisser aujourd'hui une priorité à la fraîcheur, rendant son index plus dynamique. La détection des nouveaux contenus s'effectue en fonction de la fréquence de mise à jour des sites composant son index. "Cette approche plus perspicace tient compte du fait qu'un site de journal en ligne, par exemple, a besoin d'un crawling plus fréquent qu'un site Web statique mis à jour une fois par mois", explique le moteur.

Google explique également comment sont détectés les nouveaux sites créés : son robot allant de lien en lien, il suffit qu'un site Web déjà indexé par le moteur fasse un lien vers une page du site pour qu'il reçoive sa première visite. Seules raisons expliquant qu'un site ne soit pas repéré par les robots de Google :
- le site n'est pas suffisamment connecté via des liens présents sur des sites partenaires,
- le site a été lancé après un passage des robots,
- le site était temporairement inaccessible lorsque le robot a voulu aller crawler son contenu.

Maîtriser son image dans les résultats

Pouvoir personnaliser le message qui apparaît dans les résultats naturels, comme pour les liens sponsorisés : voilà une option qui plairait aux annonceurs. Mais Google ne transige pas : "nous choisissons les bribes de textes extraites du site contenant les mots de la requête [Snippet], qui démontre la pertinence du résultat". Quelques fois, il arrive que le moteur choisisse de faire figurer la description inscrite dans l'annuaire Open Directory Project.

Seules certaines options sont laissées à l'annonceur :
- choisir d'afficher ou non un snippest. Pour ce faire, ajouter la mention "nosnippet" dans les méta-tags.
Exemple : < meta name="robots" content="nosnippet >
- Ou bien choisir de ne pas faire figurer la description de l'annuaire Open Directory Project.
Exemple : < meta name="robots" content="noodp >

Parmi les autres points abordés, une question qui fait bien souvent débat dans les forums de référenceurs : l'influence des liens sponsorisés sur les résultats de recherche naturels. Rumeur à laquelle Google dément toute association entre les deux solutions : "nous avons entièrement séparé nos équipes pour qu'il n'y ait aucune interférence. Nous croyons que l'objectivité de nos résultats de recherche est cruciale pour fournir la meilleure expérience aux utilisateurs".

Robots exclusion ou meta-tag

Dans son livre blanc, Google consacre un chapitre complet au fichier d'exclusion des robots. Placé à la racine du site, ce fichier texte est pris en compte par la majorité des moteurs de recherche. Il indique aux moteurs les éléments devant être exclus du crawl.

Exemple de fichier d'exclusion des robots donné par Google, si un webmaster souhaite empêcher l'indexation de ses logs internes :
User-Agent: Googlebot - cette mention précise que la section qui suit contient toutes les instructions destinées au robot de Google.
Disallow: /logs/ - En précisant "Disallow" (non admis en français), on interdit au robot de Google l'accès aux fichiers.

Alternative au robots.txt : les méta-tags. Exemple d'un webmaster souhaitant exclure des nouveaux articles, accessibles uniquement pour les abonnés du site.

La mention 'noindex' dans le meta-tag stoppe les robots qui n'iront pas copier les informations dans son index.

Pour ne pas avoir de page en cache conservée par le moteur, il suffit de la même manière de le préciser dans les méta-tags la mention 'noarchive'

"En général, le fichier robots.txt est une bonne solution pour fournir une échelle de contrôle sur le site, alors que les méta-tags permettent un contrôle plus affiné sur les fichiers individuels ", explique Google dans son livre blanc.

Les erreurs à ne pas commettre

Les cinq principales erreurs à ne pas commettre selon Google :
- Remplir les pages avec des listes de mots clés.
- Faire du cloaking : pages uniquement dédiées aux moteurs de recherche.
- Mettre en place des pages ou des liens dans le but de tromper le moteur de recherche.
- Utiliser des images à la place de textes, les images étant invisibles pour les robots.
- Le duplicate content est à éviter, c'est-à-dire la copie multiple d'un contenu sur différentes pages Web

"Pensez comme un utilisateur, parce ce que c'est de cette façon que nous essayons de penser " : la phrase est lancée. Le moteur cherche à éviter tous les risques de sur-optimisation qui nuisent à la qualité des réponses.

Webmaster Central

Google en profite pour montrer l'étendue de ses services et met en avant son centre à destination des webmasters : des pages d'information traitant du référencement et de l'indexation sur son moteur. Ce dernier n'est pas avare en outils, une manière de fidéliser les annonceurs.

Parmi les services proposés par le moteur :
- le diagnostic des principaux problèmes d'indexation
- un outil qui montre ce que le moteur voie d'une page Web
- des statistiques sur les requêtes. Même si le moteur ne donne pas les chiffres, il fournit leur volume : une aide à la détermination des mots clés
- les fréquences de visites du robot sur les différentes pages du site.