写爬虫似乎没有比用 Python 更合适了，Python 社区提供的爬虫工具多得让你眼花缭乱，各种拿来就可以直接用的 library 分分钟就可以写出一个爬虫出来，今天就琢磨着写一个爬虫，将廖雪峰的 Python 教程 爬下来做成 PDF 电子书方便大家离线阅读。 开始写爬虫前…

这是知乎上一个今天看到的问题。底下的回答既有教你如何按部就班一步一步踏入数据分析领域的，也有帮你尝试 7 周速成的。对于每个人来说最好的方法也许都不一样，或许你跟我一样喜欢高强度的训练？可以来看一波。这波，不亏。

web是一个开放的平台，这也奠定了web从90年代初诞生直至今日将近30年来蓬勃的发展。然而，正所谓成也萧何败也萧何，开放的特性、搜索引擎以及简单易学的html、css技术使得web成为了互联网领域里最为流行和成熟的信息传播媒介；但如今作为商业化软件，web这个平台上的内容信息…

爬天爬地

（主要是qq群内有人在模拟登陆知乎，一直不成功）然后我抓包看了下，发现知乎登陆页已经改版了，而且难度大大提高了。 grant_type=password. 那么这个payload就很好理解了. 发现找到了，但是参数是js动态生成的... 第三步：慢慢调试。。。直到找到如何生成的…

貌似爬虫爱好者都喜欢爬豆瓣的东西，无论是电影、音乐还是小组等等。所以豆瓣网在反爬方面也是煞费苦心。当你的爬虫没什么策略可言时，很容易就会返回 403 错误。经过一些实验以及 Google 的结果，大体可以看出豆瓣的反爬策略

一个非常棒的开源库，帮助你摆脱因为描述很少的元组、列表或字典，忍受着因为共同维护带来的混乱。你的代码将会变得更好。

知乎现在改用 https 请求了，数据加密，但是问题不大，重要的是网页数据改动了，而且在请求时后台会对爬虫做一些判断，因此在每次请求是都需要加上 request header，尽可能接近浏览器请求的样子。

这篇文章呢，就是给那些找不到 Python 项目开发教程的人，以及不知道 Python 可以开发什么的人的……