我们可以把互联网比作一张大网，而爬虫（即网络爬虫）便是在网上爬行的蜘蛛。把网的节点比作一个个网页，爬虫爬到这就相当于访问了该页面，获取了其信息。可以把节点间的连线比作网页与网页之间的链接关系，这样蜘蛛通过一个节点后，可以顺着节点连线继续爬行到达下一个节点，即通过一个网页继续获取…

一看到这个，密密麻麻的数字和字母，就猜应该是被加密了，不过可以复制下来看看有没有用。接下来看下他的Response，咦，这是个json，不是html结构的，所以需要用到Json库来进行解析 现在开始敲代码吧，先把上面的两个参数复制过来看看。 可以看到，利用json.loads(…

如果你对Web有所涉及，如果你比较喜欢用CSS选择器，如果你对jQuery有所了解，那么这里有一个更适合你的解析库——pyquery。 接下来，我们就来感受一下pyquery的强大之处。 1. 准备工作 在开始之前，请确保已经正确安装好了pyquery。若没有安装，可以参考第1…