Elenco dei crawler comuni di Google

I crawler comuni di Google vengono utilizzati per trovare informazioni per la creazione degli indici della Ricerca di Google, eseguire scansioni specifiche di altri prodotti e per scopi di analisi. Rispettano sempre le regole del file robots.txt durante la scansione automatica. Le proprietà tecniche generali dei crawler di Google si applicano anche ai crawler comuni.

Generalmente i crawler comuni eseguono la scansione dagli intervalli IP pubblicati nell'oggetto common-crawlers.json, e la maschera DNS inversa del nome host corrisponde a crawl-***-***-***-***.googlebot.com o geo-crawl-***-***-***-***.geo.googlebot.com.

L'elenco seguente mostra i crawler comuni e le stringhe dello user agent così come appaiono nelle richieste HTTP, i relativi token dello user agent per la riga User-agent: nel file robots.txt e i prodotti interessati dalle preferenze di scansione del crawler. Alcuni crawler hanno più di un token dello user agent; devi abbinare un solo token del crawler affinché una regola venga applicata. L'elenco non è completo, si limita solo ai richiedenti che hanno maggiori probabilità di apparire nei file di log e per cui abbiamo ricevuto domande.

User-Agent nelle richieste HTTP
Googlebot Smartphone 
Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Googlebot Desktop 
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36

Raramente:

  • Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
  • Googlebot/2.1 (+http://www.google.com/bot.html)
robots.txt
Token dello user agent nel file robots.txt Googlebot
Esempio di gruppo di robots.txt 
user-agent: Googlebot
allow: /archive/1Q84
disallow: /archive
Prodotti interessati Le preferenze di scansione indirizzate allo user agent Googlebot influiscono sulla Ricerca Google (inclusi Feed personalizzato e tutte le funzionalità della Ricerca Google), nonché altri prodotti come Google Immagini, Google Video, Google News e Feed personalizzato.
User agent nelle richieste HTTP 
Googlebot-Image/1.0
robots.txt
Token dello user agent nel file robots.txt Googlebot-Image
Googlebot
Esempio di gruppo di robots.txt 
user-agent: Googlebot-Image
allow: /archive/1Q84
disallow: /archive/moons.jpg
Prodotti interessati Le preferenze di scansione indirizzate allo user agent Googlebot-Image influiscono su Google Immagini, Feed personalizzato, Google Video e su tutte le funzionalità della Ricerca Google in cui vengono mostrate immagini, loghi e favicon.
User agent nelle richieste HTTP 
Googlebot-Video/1.0
robots.txt
Token dello user agent nel file robots.txt Googlebot-Video
Googlebot
Esempio di gruppo di robots.txt 
user-agent: Googlebot-Video
allow: /archive/1Q84
disallow: /archive/
Prodotti interessati Le preferenze di scansione indirizzate allo user agent Googlebot-Video influiscono sulle funzionalità della Ricerca Google correlate ai video e altri prodotti che dipendono dai video.
User agent nelle richieste HTTP Googlebot-news non ha una stringa dello user agent a parte per la richiesta HTTP. La scansione viene effettuata con varie stringhe dello user agent Googlebot.
robots.txt
Token dello user agent nel file robots.txt Googlebot-News
Googlebot
Esempio di gruppo di robots.txt 
user-agent: Googlebot-News
allow: /archive/1Q84
disallow: /archive/
Prodotti interessati Le preferenze di scansione indirizzate allo user agent Googlebot-News influiscono sul prodotto Google News, inclusi news.google.com e l'app Google News.
User agent nelle richieste HTTP
Agente desktop 
Mozilla/5.0 (X11; Linux x86_64; Storebot-Google/1.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Safari/537.36
Agente mobile 
Mozilla/5.0 (Linux; Android 8.0; Pixel 2 Build/OPD3.170816.012; Storebot-Google/1.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36
robots.txt
Token dello user agent nel file robots.txt Storebot-Google
Esempio di gruppo di robots.txt 
user-agent: Storebot-Google
allow: /archive/1Q84
disallow: /archive/konbini
Prodotti interessati Le preferenze di scansione indirizzate allo user agent Storebot-Google influiscono su tutte le piattaforme di Google Shopping (ad esempio la scheda Shopping nella Ricerca Google e Google Shopping).
User agent nelle richieste HTTP
Agente desktop 
Mozilla/5.0 (compatible; Google-InspectionTool/1.0;)
Agente mobile 
Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Google-InspectionTool/1.0;)
robots.txt
Token dello user agent nel file robots.txt Google-InspectionTool
Googlebot
Esempio di gruppo di robots.txt 
user-agent: Google-InspectionTool
allow: /archive/1Q84
disallow: /archive/
Prodotti interessati Le preferenze di scansione indirizzate allo user agent Google-InspectionTool influiscono sugli strumenti di test della Ricerca come il Test dei risultati avanzati e il Controllo URL in Search Console. Non hanno alcun effetto sulla Ricerca Google o su altri prodotti.
User agent nelle richieste HTTP 
Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; GoogleOther)
 
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; GoogleOther) Chrome/W.X.Y.Z Safari/537.36
robots.txt
Token dello user agent nel file robots.txt GoogleOther
Esempio di gruppo di robots.txt 
user-agent: GoogleOther
allow: /archive/1Q84
disallow: /archive/
Prodotti interessati Le preferenze di scansione indirizzate allo user agent GoogleOther non influiscono su alcun prodotto specifico. GoogleOther è il crawler generico che potrebbe essere utilizzato da vari team di prodotto per recuperare contenuti accessibili pubblicamente dai siti. Ad esempio, potrebbe essere usato per scansioni singole a scopo di ricerca interna e sviluppo.
User agent nelle richieste HTTP 
GoogleOther-Image/1.0
robots.txt
Token dello user agent nel file robots.txt GoogleOther-Image
GoogleOther
Esempio di gruppo di robots.txt