Beautiful Soup 是一个可以从 HTML 或 XML 文件中提取数据的 Python 库，简单来说，它能将 HTML 的标签文件解析成树形结构，然后方便地获取到指定标签的对应属性。

Selenium 是什么？一句话，自动化测试工具。它支持各种浏览器，包括 Chrome，Safari，Firefox 等主流界面式浏览器，如果你在这些浏览器里面安装一个 Selenium 的插件，那么便可以方便地实现 Web 界面的测试。换句话说叫 Selenium 支持这些浏览器驱动。话说回来，PhantomJS 不也是一个浏览器吗，那么 Selenium 支持不？答案是肯定的，这样二者便可以实现无缝对接了。

对 Github 上的那些开源项目，从 star 数的角度进行了小小的挖掘，有点意思，分享一下。

requests 库的宣言是 HTTP for Humans （给人用的 HTTP 库）

利用 Python3+ scrapy1.3.3，写爬虫。 效果不错

作者直接提供可运行的源代码供学习。

在上一篇文章《一篇文章了解爬虫技术现状》中，我们总结了目前后台爬虫所面临的交互困难、javascript解析麻烦、以及ip限制三大问题。本期，我们不妨换一种思路来重新思考，说不定会别开生面、柳暗花明。 承上 书接上文，我们说明了目前后台爬虫所面临的三大问题，此三点对于后台爬虫来…