搜索引擎爬虫(蜘蛛)UserAgent(UA)大全 - 全栈SEO技术

文章分类：搜索引擎基本原理介绍合集

本文会具体列举各大搜索引擎爬虫的UserAgent是什么，有官方文档的会直接上官方文档链接，没有找到官方文档会放从Web服务器日志中拿到的UA：百度、Google、搜狗、360、神马、头条、Bing。

搜索引擎蜘蛛UA大全

百度爬虫UA

百度官方文档

特别说明，百度目前已支持页面的异步JS执行，对应的爬虫UA为（区分PC与移动）：

Mozilla/5.0 (compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)

Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143 Safari/601.1 (compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)

• 该爬虫爬取的链接，会带Referer
• 页面上有数据统计JS代码，如GA，该爬虫也会执行
• 该爬虫不会加载页面上的图片

小技巧：在网页上放置一个1px的gif（体积最小），GA数据上报动作可以放在这个gif加载完成的回调函数里。

Google爬虫UA

谷歌官方文档

Google爬虫种类特别多，请看官方文档按需使用。

搜狗爬虫UA

Sogou web spider/4.0(+http://www.sogou.com/docs/help/webmasters.htm#07)

360爬虫UA

Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36; 360Spider

神马爬虫UA

Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.81 YisouSpider/5.0 Safari/537.36

头条爬虫UA

区分PC与移动：

Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181;Bytespider;https://zhanzhang.toutiao.com/

Mozilla/5.0 (Linux; Android 5.0) AppleWebKit/537.36 (KHTML, like Gecko) Mobile Safari/537.36 (compatible; Bytespider; https://zhanzhang.toutiao.com/)

Bing爬虫UA

Bing官方文档

搜索引擎蜘蛛UA大全就是这些啦，这些内容长期稳定。

关于针对搜索引擎爬虫的一些SEO技术，等我慢慢更新文章吧...