事情的起源是这样的，某个风和日丽的下午... 习惯性的打开知乎准备划下水，看到一个问题刚好邀请回答 于是就萌生了采集下某招聘网站Python岗位招聘的信息，看一下目前的薪水和岗位分布，说干就干。 先说下数据采集过程中遇到的问题，首先请求头是一定要伪装的，否则第一步就会给你弹出你…

试过很多种方式，就算使用conda install tesserocr,也一样报错。

纵观近几年的国产电影市场，“开心麻花“似乎已经成为了票房的保证。从《夏洛特烦恼》、《羞羞的铁拳》到最新上映的《西虹市首富》都引爆了票房。本期我们会根据从猫眼电影网爬取到的上万条评论为你解读《西虹市首富》是否值得一看 数据中我们可以得到用户的昵称，方便后面进行去重。后面的部分主要…

娱乐圈的瓜真的是一波又一波，这次又轮到文章和马伊琍了。他们具体为啥会婚变，咱也不知道，啥也不敢问，啥也不干说。不过他们微博下面还是开锅了，下面就一起来看看吧。 首先我们先来看看微博页面，爬虫要从何处下手。 总共有4各参数，ajwvr、id、from 和 __rnd。 至此，我们…

2020年1月17日，国家统计局发布了2019年国民经济报告，报告中指出我国人口突破14亿。猪哥的朋友圈被14亿人口刷屏，但是很多人并没有看到我国复杂的人口问题：老龄化、男女比例失衡、生育率下降、人口

2019年，可以说是中国电影的大年，众多国产巨制纷纷上映，让广大影迷们又再次看到了中国电影的希望，今天我们就用数据来说一说这堪称辉煌的2019中国影坛。 我们这里抓取的是猫眼专业版的实时票房数据，数据接口比较简单，我们唯一要注意的就是抓取速率，在没有速度的要求下，尽量别上多线程…

他叫 Kenneth Reitz。现就职于知名云服务提供商 DigitalOcean，曾是云计算平台 Heroku 的 Python 架构师，目前 Github 上 Python 排行榜第一的用户。（star 数超过了包括 google、tensorflow、django 等账…

昨天一个朋友说最近想换工作。想让我帮看下Boss现在的招聘情况如何。正好想到上个月写了个开源爬虫框架kcrawler，最后添加了一个Boss类支持，可以实现快速根据关键词查询不同岗位，不同行业的的招聘情况。有现成可用的库，帮助朋友也是举手之劳。 1. 安装 kcrawler是开…

lxml：其实可以用pythonth自带的正则表达式库re，但是为了更加简单入门，用 lxml 中的 etree 进行网页数据定位爬取。 使用selenium+phantomjs无界面浏览器，这两者的结合其实就是直接操作浏览器，可以获取JavaScript渲染后的页面数据。 用…