1. 写在前面 上个月写了一篇《我的大前端之旅》，里面介绍了一下我对大前端时代到来的一点个人观点。简单来说，我更喜欢把自己的未来规划成一专多能的工程师，毕竟技多不压身，在深入研究本职领域的前提下多涉猎一下其他的领域对自己的成长总是有益处的。 目标: 通过做一个更加复杂的爬虫模块…

经过了前面几篇文章的学习，估计你已经会爬不少中小型网站了。但是有人说，前面的正则很难唉，学不好。正则的确很难，有人说过：如果一个问题用正则解决，那么就变成了两个问题。所以说学不会是很正常的，不怕，除了正则，我们还可以用另外一个强大的库来解析html。所以，今天的主题就是来学习这…

接着上一节内容，这一节抓取QQ音乐移动Web端推荐页面接口和PC端最新专辑接口数据。通过这些接口数据开发推荐页面。首先看一下效果图 用chrome浏览器打开手机调试模式，输入QQ音乐移动端地址：https://m.y.qq.com。打开后点击Network，然后点击XHR，可以…

使用urllib的request模块，我们可以方便地实现请求的发送并得到响应，本节就来看下它的具体用法。 1. urlopen() urllib.request模块提供了最基本的构造HTTP请求的方法，利用它可以模拟浏览器的一个请求发起过程，同时它还带有处理授权验证（authe…

pipeline是一种常见的算法模式，针对不断循环的耗时任务，如果要等一个循环结束后再轮到处理下一个任务的话，时间上有点浪费。 所以，把耗时任务拆分为几个环节，只要一个环节完成了，就可以轮到下一个任务的那个环节就马上开始处理。不用等到这个耗时任务全部结束了才开始。 我认为应用在…

可能你不知道无从下手，不过不用担心，Python的强大之处就是提供了功能齐全的类库来帮助我们完成这些请求。最基础的HTTP库有urllib、httplib2、requests、treq等。 拿urllib这个库来说，有了它，我们只需要关心请求的链接是什么，需要传的参数是什么以及…