Pré-requis : Savoir ce qu’est un user-agent + connaître les outils de Google.

Objectif : Mieux comprendre le fonctionnement des outils Google à l’heure du Mobile-First.

Quels sont les “crawlers” utilisés par Google pour chacun de ses outils ?

Nous avons mis en place des tests nous permettant pour chaque outil de Google ayant été testé, de connaître quel est le crawler (ou user-agent) utilisé.

Pour aller directement aux résultats des différents outils vous pouvez cliquer sur un des liens ci-dessous :

Edit suite à l’annonce faite par Google en octobre 2019

  • Edit d’octobre 2019 : ce test SEO sera reconduit prochainement, Google a en effet annoncé qu’il allait modifier les User-agent de ses crawlers en décembre de cette même année.
  • Ainsi Googlebot pour smartphone deviendrait : “Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)”.
  • Et Googlebot resterait inchangé ou deviendrait : “Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36”.

Avant-propos

Ce test SEO vous permettra de mieux comprendre le fonctionnement des outils de Google. Et pourquoi pas, exploiter ces informations pour le SEO de votre site. Nous avons utilisé des raccourcis pour remplacer les User agent strings :

  • Googlebot

    “Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)”

  • Googlebot pour smartphone 

    “Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)”

  • Google-Structured-Data-Testing-Tool

    “Mozilla/5.0 (compatible; Google-Structured-Data-Testing-Tool +https://search.google.com/structured-data/testing-tool)”

  • Chrome-Lighthouse

    “Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3694.0 Safari/537.36 Chrome-Lighthouse”

  • Chrome-Lighthouse Mobile

    “Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3694.0 Mobile Safari/537.36 Chrome-Lighthouse”

Pour chaque outil, sont listés les user-agents utilisés. Sauf 1 cas particulier, si deux crawlers sont listés, cela signifie qu’à chaque “demande”, tous les crawlers listés seront envoyés. Par exemple, lorsqu’on demande une exploration par la Google Search Console : Googlebot ET Googlebot pour smartphone viendront crawler la page.

Google Search Console

  • Googlebot
  • Googlebot pour smartphone

Test d’optimisation mobile (Mobile-friendly Test)

  • Googlebot pour smartphone

Outil de test des données structurées

  • Google-Structured-Data-Testing-Tool

Test AMP

  • Googlebot
  • Googlebot pour smartphone

Test des résultats enrichis

(Au choix sur liste de sélection)

  • Googlebot
  • Googlebot pour smartphone

PageSpeed Insights

  • Chrome-Lighthouse
  • Chrome-Lighthouse Mobile

Test My Site (Think with Google)

  • Chrome-Lighthouse Mobile