Goolv

这篇文章用pandas对全球的人口数据做个简单分析。我收集全球各国1960-2019年人口数据，包含男女和不同年龄段，共6个文件。 同样的方式，我们读取剩下的5个文件，对应的DataFrame分别是pop_female、pop_male、pop_0_14、pop_15_64、p…

首先导入要使用的科学计算包numpy,pandas,可视化matplotlib,seaborn,以及机器学习包sklearn。 然后导入数据，并进行初步的观察，这些观察包括了解数据特征的缺失值，异常值，以及大概的描述性统计。 初步观察到一共有11个特征变量，Price 在这里是…

于是乎，我再次转战 Boss 直聘，我就是想看看，到底什么工种比较好找工作呢。当然了，这里工作种类实在是太多了，我就挑选出 Python，Java，数据分析和产品经理这四种岗位来做下简单的分析。 我在前面就写过一篇获取 Boss 数据的文章，可以戳这里查看（查看）。但是后面有人…

这篇文章不会涉及到Kafka 的具体操作，而是告诉你 Kafka 是什么，以及它能在爬虫开发中扮演什么重要角色。 再来看看统计关键词的功能，这个功能背后有一个网页，会实时显示抓取数据量的变化情况，可以显示每分钟、每小时的某个关键词的抓取量。 最后一个需求，对微博数据进行情感分析…

2020 的开头实在是太烂了，新冠肺炎肆虐神州大地，这场突如其来的灾难影响实在是太大了，全国人民在齐心协力共度难关的同时，也无时无刻不在期盼疫情快点过去。当然我们在隔离办公的同时，每天也都关注着疫情的发展，盼望着“拐点”快点来临，毕竟大家都盼望着外面的新鲜空气呢！ 这里我制作了…

这种反爬虫手段被广泛应用在一线互联网企业的产品中，例如汽车资讯类网站、小说类网站等文字密度较大的站点。在开始学习之前，我们先来看看具体的现象。打开网址： 这次的任务，就是拿到页面上所呈现的内容的文本。在编写爬虫代码之前，我们要做几件事： 其实就是最基本的观察和分析。 一个 ht…

告别枯燥，60秒学会一个小例子，系统学习Python，从入门到大师。Python之路已有190个例子： 已发《Python之路.1.1.pdf》最新版本包括7个章节：Python基础，Python字符串和正则，Python文件，Python日期, Python利器，Python…

有一个词叫做“三月爬虫”，指的是有些学生临到毕业了，需要收集数据写毕业论文，于是在网上随便找了几篇教程，学了点requests甚至是urllib和正则表达式的皮毛，就开始写爬虫疯狂从网上爬数据。这些爬虫几乎没有做任何隐藏自己的举动，不换IP，不设置headers，不限制速度，极…

AI 前线导读：”互联网往往会产生一些不好的副产品，比如把 Facebook 推上风口浪尖的假新闻，以及最近很火的 AI 虚假色情视频。有人用机器学习 AI 技术把明星的脸部与色情视频表演者的脸部进行交换，几乎可以达到以假乱真的效果，比如演员 Daisy Ridley、 Gal…