爬虫系列——做爬虫必备：各大网站蜘蛛UA_搜狗蜘蛛ua，大佬手把手教你如何仿写出大厂的APP

了解各大搜索引擎蜘蛛爬虫的UA，对我们进行某些程序编写十分有用，例如网页判断客户端来源时，UA是常用的标准之一。本文收集了各大搜索引擎的蜘蛛爬虫UA，以便需要时查阅。

1.百度蜘蛛Baiduspider

Baiduspider，日志中还发现了Baiduspider-image这个百度旗下蜘蛛，是专门用以抓取图片的蜘蛛。常见百度旗下同类型蜘蛛还有下面这些：Baiduspider-mobile（抓取wap）、Baiduspider-video（抓取视频）、Baiduspider-news（抓取新闻）。

UA

PC：

Mozilla/5.0 (compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)

移动：

Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 like Mac OS X) 
AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143 Safari/601.1 (compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)

 2.谷歌蜘蛛Googlebot

UA

Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

Google图片搜索

Googlebot-Image/1.0

3.必应蜘蛛bingbot

UA

Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)

4.雅虎蜘蛛Yahoo

UA

雅虎英文

Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)

雅虎中国

Mozilla/5.0 (compatible; Yahoo! Slurp China; http://misc.yahoo.com.cn/help.html)

5.搜狗蜘蛛Sogou News Spider

UA

搜狗****图片

http://pic.sogou.com
Sogou Pic Spider/3.0(+http://www.sogou.com/docs/help/webmasters.htm#07)

搜狗

Sogou web spider/4.0(+http://www.sogou.com/docs/help/webmasters.htm#07)

6.360蜘蛛 360Spider

UA

Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0);

360网站安全检测

360spider (http://webscan.360.cn)

7.MSN蜘蛛msnbot-media

UA

*msnbot/1.0 (+http://search.msn.com/msnbot.htm”)

8.有道蜘蛛YoudaoBot

收集整理了一份《2024年最新物联网嵌入式全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升的朋友。

如果你需要这些资料，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人

都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！