呼呼吃吃

框架能够帮助我们处理一些基础的、与目标任务没直接联系的工作，让我们专注在目标任务上。尤其对于爬虫初学者来说，很快就能体会到操作爬虫带来的效果与成就感，而不必去操心额外的事情。等入了门，再尝试不依赖框架独立从零写一个爬虫程序，然后再去研究别人已经搭建好的爬虫框架，等到能阅读爬虫框…

做网络爬虫时，一般对代理IP的需求量比较大。因为在爬取网站信息的过程中，很多网站做了反爬虫策略，可能会对每个IP做频次控制。这样我们在爬取网站时就需要很多代理IP。 自己搭建代理服务器，稳定，但需要大量的服务器资源。 本文的代理IP池是通过爬虫事先从多个免费网站上获取代理IP之…

- [1. 概述] - [2. 记录作业失效转移] - [3. 提交失效转移作业] - [666. 彩蛋]

如今已然是大数据时代，数据正在驱动着业务开发，驱动着运营手段，有了数据的支撑可以对用户进行用户画像，个性化定制，数据可以指明方案设计和决策优化方向，所以互联网产品的开发都是离不开对数据的收集和分析，数据收集的一种是方式是通过上报API进行自身平台用户交互情况的捕获，还有一种手段是

前言 Python 学习之旅，先来看看 Python 的代码规范，让自己先有个意识，而且在往后的学习中慢慢养成习惯 目录 Python 代码规范 一、简明概述 1、编码 如无特殊情况, 文件一律使用 UTF-8 编码 如无特殊情况, 文件头部必须加入 #-*-coding:utf-…

IT 行业相对于一般传统行业，发展更新速度更快，一旦停止了学习，很快就会被行业所淘汰，但是，我们要清楚：淘汰的永远只是那些初级水平的从业者，过硬技术的从业者永远都是稀缺的。因此对于学习，我们还是要踏踏实实的。 自学 Python ，也是一样，不要一开始因为头脑发热就不停地收藏各…

现在有很多爬虫框架，比如scrapy、webmagic、pyspider，也可以直接通过requests+beautifulsoup来写一些个性化的小型爬虫脚本。但是在实际爬取过程当中，爬虫框架各自有各自的优势和缺陷。所以我模仿这些爬虫框架的优势，搭配gevent(实际上是grequests)开发了这套轻量级爬虫框架。

AI 前线导读：”互联网往往会产生一些不好的副产品，比如把 Facebook 推上风口浪尖的假新闻，以及最近很火的 AI 虚假色情视频。有人用机器学习 AI 技术把明星的脸部与色情视频表演者的脸部进行交换，几乎可以达到以假乱真的效果，比如演员 Daisy Ridley、 Gal…