author: Martin Kleppmann. 该译文已得到原作者Martin Kleppmann许可, 如需要请求许可来源请直接联系我. 这篇 blog 已被翻译成 俄语, 日语 和 中文. 有关 CAP 问题的更多细节和其他选择方案的建议, 请阅读我的论文 A Crit…

由于文章编写的比较旧了，所以是HashSHuffle原理的文章。但是仍然是非常好的一篇原理讲解文章。了解了hashShuffle才能更好的了解后面的Sort Base Shuffle Spark 2.1.0 中 Sort-Based Shuffle 产生的内幕：这篇文章通过讲述…

在游戏项目中，需要对每天千万级的游戏评论信息进行词频统计，在生产者一端，我们将数据按照每天的拉取时间存入了Kafka当中，而在消费者一端，我们利用了spark streaming从kafka中不断拉取数据进行词频统计。本文首先对spark streaming嵌入kafka的方式…

Maxwell是一个能实时读取MySQL二进制日志binlog，并生成 JSON 格式的消息，作为生产者发送给 Kafka，Kinesis、RabbitMQ、Redis、Google Cloud Pub/Sub、文件或其它平台的应用程序。它的常见应用场景有ETL、维护缓存、收集…

最终不得已改动了一下源码才趟过去(其实就是注释了一行代码). 假设有以上三个分表, 分表逻辑用orderId取模, 即orderId=0的写到order_00,orderId=1的写到order_01,orderId=2的写到order_02. 用过sharding-jdbc的…

spark中，堆内存又被划分成了两块儿，一块儿是专门用来给RDD的cache、persist操作进行RDD数据缓存用的；另外一块儿，就是我们刚才所说的，用来给spark算子函数的运行使用的，存放函数中自己创建的对象。 默认情况下，给RDD cache操作的内存占比，是0.6，6…

秦凯新技术社区推出的《Coding技术进阶实战》系列即将上线，包含语言类精深的用法和技巧，涵盖 python,Java,Scala,Tensorflow等主流大数据和深度学习技术基础，敬请期待。为什么我会写这样一个系列，来源于被一位容器云专家问到如何实现一个线程池时，让我顿感以…

简单说说时间轮吧，它是一个高效的延时队列，或者说定时器。实际上现在网上对于时间轮算法的解释很多，定义也很全，这里引用一下朱小厮博客里出现的定义： 参考下图，Kafka中的时间轮（TimingWheel）是一个存储定时任务的环形队列，底层采用数组实现，数组中的每个元素可以存放一个…

Apache Kylin 是一个开源的分布式分析引擎，提供 Hadoop/Spark 之上的 SQL 查询接口及多维分析（OLAP）能力以支持超大规模数据，最初由 eBay Inc. 开发并贡献至开源社区，它能在亚秒内查询巨大的 Hive 表。 与 BI 工具无缝整合: Kyl…