rochy_he

一线码农，精通 Android、Python、小程序等拼写，做一个善于思考的程序员。 我想每个程序员都有 GitHub 吧，想我工作一年才知晓这个宝藏，我也慢慢地从“拿来”到自己造轮子，16 年，我前后开源了几个库，目前这些项目被 Stars 3400+，我也拥有 Follow…

在数据仓库建模中，未经任何加工处理的原始业务层数据，我们称之为ODS(Operational Data Store)数据。在互联网企业中，常见的ODS数据有业务日志数据（Log）和业务DB数据（DB）两类。对于业务DB数据来说，从MySQL等关系型数据库的业务数据进行采集，然后…

请先确保所有主机都已经安装和启动 Scrapyd，如果需要远程访问 Scrapyd，则需将 Scrapyd 配置文件中的 bind_address 修改为 bind_address = 0.0.0.0，然后重启 Scrapyd service。 通过运行命令 scrapydwe…

我发现一些同学在网络上有看不少synchronize的文章，可能有些同学没深入了解，只看了部分内容，就急急忙忙认为不能使用它，很笨重，因为是采用操作系统同步互斥信号量来实现的。关于这类的对于synchronize的污点，我打算帮它清洗下。 其实jdk1.6对锁的实现已经引入了大…

需求其实很清晰，只是要判断一个数据是否存在即可。 但这里有一个比较重要的前提：非常庞大的数据。 我想大多数想到的都是用 HashMap 来存放数据，因为它的写入查询的效率都比较高。 写入和判断元素是否存在都有对应的 API，所以实现起来也比较简单。 为了方便调试加入了 GC 日…

Flink是一款分布式的计算引擎，它可以用来做批处理，即处理静态的数据集、历史的数据集；也可以用来做流处理，即实时地处理一些实时数据流，实时地产生数据的结果；也可以用来做一些基于事件的应用，比如说滴滴通过Flink CEP实现实时监测用户及司机的行为流来判断用户或司机的行为是否…

HBase 的 RowKey 设计

Kudu+Impala介绍 | 微店数据科学团队博客

- [为什么阅读 Elastic-Job 源码？] - [使用公司] - [步骤/功能] - [Elastic-Job-Cloud 不考虑写的内容] - [XXL-JOB]