Quels sont les user agents utilisés par les outils de Google ?

Guide SEO – Référencement naturel

Pré-requis : savoir ce qu’est un user-agent + connaître les outils de Google

Objectif ? Mieux comprendre le fonctionnement des outils Google à l’heure du Mobile-First.

Quels sont les “crawlers” utilisés par Google pour chacun de ses outils ?

Nous avons mis en place des tests nous permettant pour chaque outil de Google ayant été testé, de connaître quel est le crawler (ou user-agent) utilisé.

  1. Google Search Console
  2. Test d’optimisation mobile (Mobile-friendly Test)
  3. Outil de test des données structurées
  4. Test AMP
  5. Test des résultats enrichis
  6. PageSpeed Insights
  7. Test My Site (Think with Google)

Edit suite à l’annonce faite par Google en octobre 2019 : ce test SEO sera reconduit prochainement, Google a en effet annoncé qu’il allait modifier les User-agent de ses crawlers en décembre de cette même année. Ainsi Googlebot pour smartphone deviendrait : “Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)”. Et Googlebot resterait inchangé ou deviendrait : “Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36“.

Avant-propos : ce test SEO vous permettra de mieux comprendre le fonctionnement des outils de Google. Nous vous invitons à lire l’astuce de l’expert pour avoir des pistes pour exploiter ces informations pour le SEO de votre site. Nous avons utilisé des raccourcis pour remplacer les User agent strings :

  • Googlebot : “Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)”
  • Googlebot pour smartphone : “Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)”
  • Google-Structured-Data-Testing-Tool : “Mozilla/5.0 (compatible; Google-Structured-Data-Testing-Tool +https://search.google.com/structured-data/testing-tool)”
  • Chrome-Lighthouse : “Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3694.0 Safari/537.36 Chrome-Lighthouse”
  • Chrome-Lighthouse Mobile : “Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3694.0 Mobile Safari/537.36 Chrome-Lighthouse”

Pour chaque outil, sont listés les user-agents utilisés. Sauf 1 cas particulier, si deux crawlers sont listés, cela signifie qu’à chaque “demande”, l’ensemble des crawlers listés. Par exemple, lorsqu’on demande une exploration par la Google Search Console : Googlebot ET Googlebot pour smartphone viendront crawler la page.

Google Search Console

  • Googlebot
  • Googlebot pour smartphone

Test d’optimisation mobile (Mobile-friendly Test)

  • Googlebot pour smartphone

Outil de test des données structurées

  • Google-Structured-Data-Testing-Tool

Test AMP

  • Googlebot
  • Googlebot pour smartphone

Test des résultats enrichis

(au choix sur liste de sélection)

  • Googlebot
  • Googlebot pour smartphone

PageSpeed Insights

  • Chrome-Lighthouse
  • Chrome-Lighthouse Mobile

Test My Site (Think with Google)

  • Chrome-Lighthouse Mobile


Ce site web utilise des cookies afin d'optimiser l'expérience utilisateur. En naviguant sur le site, vous acceptez l'usage de ces cookies.

Accepter
En savoir plus
X