Robots de crawl de Google

Vous trouverez ici l’ensemble des robots de Google ainsi que les IP que j’ai relevées.

[table class= »table-striped »]
IP,Fonction,User-Agent
66.249.*,googlebot,Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

66.249.*,smartphone,Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

66.249.*,mobile,DoCoMo/2.0 N905i(c100;TB;W24H16) (compatible; Googlebot-Mobile/2.1; +http://www.google.com/bot.html)

66.249.*,mobile,SAMSUNG-SGH-E250/1.0 Profile/MIDP-2.0 Configuration/CLDC-1.1 UP.Browser/6.2.3.3.c.1.101 (GUI) MMP/2.0 (compatible; Googlebot-Mobile/2.1; +http://www.google.com/bot.html)

66.249,AdsBot-Google,AdsBot-Google (+http://www.google.com/adsbot.html)

66.249.*,adsense,Mediapartners-Google

66.249.*,adsense mobile,(compatible; Mediapartners-Google/2.1; +http://www.google.com/bot.html)

66.249,images,Googlebot-Image/1.0
[/table]

Quelques tests réalisés :

https://www.google.com/webmasters/tools/mobile-friendly/ : Mozilla/5.0 (iPhone; CPU iPhone OS 8_3 like Mac OS X) AppleWebKit/600.1.4 (KHTML, like Gecko) Version/8.0 Mobile/12F70 Safari/600.1.4 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

https://www.google.com/webmasters/tools/submit-url?hl=fr : Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

« Explorer comme Google » (Search Console) pour ordinateur : Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

« Explorer comme Google » (Search Console) pour mobile : Mozilla/5.0 (iPhone; CPU iPhone OS 8_3 like Mac OS X) AppleWebKit/537.36 (KHTML, like Gecko) Version/8.0 Mobile/12F70 Safari/600.1.4 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

« Structured Data Testing Tools » : Mozilla/5.0 (compatible; Google-Structured-Data-Testing-Tool +http://developers.google.com/structured-data/testing-tool/

Update :

15/03/2016 : Google vient d’annonce qu’il changerait sont robots Google Mobile à partir du 18/04/2016.

Mozilla/5.0 (iPhone; CPU iPhone OS 8_3 like Mac OS X) AppleWebKit/600.1.4 (KHTML, like Gecko) Version/8.0 Mobile/12F70 Safari/600.1.4 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

Devient :
Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)