MySQL数据库中。直接用DataGrip连下数据库，就可以查看爬取到的新闻了。不过， 并不是我们想要的最终形态。我希望新闻筛选的工作可以直接在手机上进行，而不是 每次都要打开电脑，打开DataGrip黑乎乎的页面，筛选，复制粘贴。在写这个APP之前， 要先学点web的东东，写…

如果你的应用中存在长执行任务，你应当把它们从普通流程中剥离并置于后台执行。 可能你的 web 应用会要求用户在注册时上传头像（图片可能需要被裁剪）和进行邮箱验证。如果你直接在请求处理函数中去加工图片和发送验证邮件，那么终端用户不得不等待这些执行的完成。相反，你更希望把这些任务放…

多维度思维。来源：Pixabay 有时你通过 Python’s Pandas 打开一个大的数据集，然后试着去获取一些度量标准，但这时整个过程可能会突然停止。 如果你使用 Pandas 处理大数据，可能一个简单的序列平均值都需要你等待一分钟，我们甚至不会去调用 apply。这还只…

隔壁的Java 世界为了创建一个对象搞得鸡飞狗跳，这边的Python解释器倒是乐得清闲。

这两天接到一个数据可视化的需求，要求展示当前选择的省、市到其他省市的产品迁徙数据，需求并不难，而且地图的可视化也比较成熟，echarts也有对应的例子，我们先看下预览图。 防止下次再去找这些配置项，自己以前用过echarts，时间久了，导致接到echart的需求后，以前一些有关…

作者的 Python 数据分析与挖掘实战笔记。

如果你每天写Python，你会发现这篇文章中没有新东西。 这是专为那些像运维人员等偶尔使用Python的人以及那些忘记/误用python import的人写的。 尽管如此，代码是用Python 3.6类型注释编写的，以满足有经验的Python读者。

gRPC 也是基于以下理念：定义一个服务，指定其能够被远程调用的方法（包含参数和返回类型）。在服务端实现这个接口，并运行一个 gRPC 服务器来处理客户端调用。在客户端拥有一个存根能够像服务端一样的方法。 在 gRPC 里客户端应用可以像调用本地对象一样直接调用另一台不同的机器…

机缘巧合，公司突然要搞一波大量数据的分析。属于客流类的分析。 数据量级也还算不错，经过 gzip 压缩，接近 400 个 点位的 SQL 文件 (MySQL innoDB)，大小接近 100GB 左右，原始记录数据估测在 180 亿左右。 解压后...... 差不多一个 T 吧…