利用 scrapy 框架爬去知乎用户关系网和头像

上篇中，我们介绍了 TCP 的协议头、状态机、数据重传中的东西。但是 TCP 要解决一个很大的事，那就是要在一个网络根据不同的情况来动态调整自己的发包的速度，小则让自己的连接更稳定，大则让整个网络更稳定。在你阅读下篇之前，你需要做好准备，本篇文章有好些算法和策略，可能会引发你的各种思考，让你的大脑分配很多内存和计算资源，所以，不适合在厕所中阅读。

爬天爬地

昨天的时候我参加了掘金组织的一场 Python 网络爬虫主题的分享活动，主要以直播的形式分享了我从事网络爬虫相关研究以来的一些经验总结，整个直播从昨天下午 1 点一直持续到下午 5 点，整整四个小时。 整个分享分为三个阶段，第一阶段先介绍了自己从大学以来从事编程开发以来的相关历…

（注：网页解析库的代码都比较通俗易懂，看理论讲解不如直接看代码，自己多写就能对常用方法了然于胸。本文是从整体框架上进行总结，更适合在对库有基本的了解之后再详细跟着文章思路查缺补漏。所以建议本文阅读顺序