东哥起飞

词云的使用相信大家已经不陌生了，使用很简单，直接调用wordcloud包就可以了。它的主要功能是根据文本词汇和词汇频率生成图片，从中可以直观的看出各个词汇所占比重。最近正好想做一个人的logo，于是乎决定使用词云来制作完成。 使用 pip 安装你肯定会遇到一个坑，安装过程中可能…

要玩大数据，没有数据怎么玩？这里推荐一些33款开源爬虫软件给大家。

有很多朋友问我学习了Python后，有没有什么好的项目可以练手。 其实，做项目主要还是根据需求来的。但是对于一个初学者来说，很多复杂的项目没办法独立完成，因此博主挑选了一个非常适合初学者的项目，内容不是很复杂，但是非常有趣，我相信对于初学者小白来说是再好不过的项目了。 这个项目…

本篇介绍一个scrapy的实战爬虫项目，并对爬取信息进行简单的数据分析。目标是北京二手房信息，下面开始分析。 采用安居客网页信息作为二手房的信息来源。直接点击进入二手房信息的页面。 博主并没有采用分区域进行爬取，博主是直接进行全部爬取，然后循环下一页完成的。步骤很简单，如下： …

不知何时，微信已经成为我们不可缺少的一部分了，我们的社交圈、关注的新闻或是公众号、还有个人信息或是隐私都被绑定在了一起。既然它这么重要，如果我们可以利用爬虫模拟登录，是不是就意味着我们可以获取这些信息，甚至可以根据需要来对它们进行有效的查看和管理。是的，没错，这完全可以。本篇博…

前两篇和大家分享了爬虫中http的一些概念和使用方法，基础篇我们主要介绍了http的请求头，高级篇我们主要介绍了cookie和session（具体可以点击上面链接进行回顾）。但其实在爬虫中还有很多关于http的内容需要了解，例如 token，oauth等。对于这些概念博主将在后…

在爬虫的路上，学习scrapy是一个必不可少的环节。也许有好多朋友此时此刻也正在接触并学习scrapy，那么很好，我们一起学习。开始接触scrapy的朋友可能会有些疑惑，毕竟是一个框架，上来不知从何学起。从本篇起，博主将开启scrapy学习的系列，分享如何快速入门scrapy并…

平时我们的爬虫多是针对网页的，但是随着手机端APP应用数量的增多，相应的爬取需求也就越来越多，因此手机端APP的数据爬取对于一名爬虫工程师来说是一项必备的技能。我们知道，网页爬取的时候我经常使用F12开发者工具或者fiddler之类的工具来帮助我们分析浏览器行为。那对于手机的A…

在学习爬虫的过程中，相信大家对HTTP这个词已经不陌生了，它好像从未离开过我们的视线。被迫所需，我们每次都要使用开发者工具去查看请求头，响应头，以及头中的各个字段，使用别人封装好的模块填入信息，敲几行代码就解决了。面对简单的爬取任务，我们也许根本不用管它是什么，但可能等我们真正…