简介：阿里云EMR自2020年推出Remote Shuffle Service(RSS)以来，帮助了诸多客户解决Spark作业的性能、稳定性问题，并使得存算分离架构得以实施，与此同时RSS也在跟合作方

字节跳动自研了 Cloud Shuffle Service，提供比大数据计算引擎常用的 Pull-Based Sort Shuffle 方案稳定性更好、性能更高、更弹性的数据 Shuffle 能力。

每一个分区都是一个顺序的、不可变的消息队列，并且可以持续的添加。分区中的消息都被分了一个序列号，称之为偏移量(offset)，在每个分区中此偏移量都是唯一的 消费者所持有的元数据就是这个偏移量，也就是消费者在这个log（分区）中的位置。这个偏移量由消费者控制：正常情况当消费者消…

这里主要是记录各种数据结构的结构体, 对于具体实现和讲解日后回会以链接形式提供, 这里只提供一个思维树, 建立一个数据结构的思维体系, 后续更新欢迎关注 GitHub. 1 线性表 1.1 动态分配空间 typedef struct { ElemType * elem; int…

本文根据链家（现：贝壳）赵国贤老师在DataFun Talk数据架构系列活动“海量数据下数据引擎的选择及应用”中所分享的《大数据平台架构从0到1之后》编辑整理而成，在未改变原意的基础上稍做修改。 大数据平台构建方法大同小异，但是平台构建以后也面临很多挑战，在面临这些挑战我们如何…

《白话中台战略》已经写了三篇，尤其是第一篇「中台是个什么鬼」收到了很多朋友的反馈。写“白话”这个系列主要是想通过写文章来驱动自己思考，并借此和更多人一起交流和探讨中台这个话题。 “互联网的企业就是爱炒概念。本来很明白的东西，被他们一包装，就变得高深莫测了。我理解中台，就是敏捷响…

这个最早由阿里在2015年提出的“大中台，小前台”战略中延伸出来的概念，最近在国内大热。阿里、腾讯、百度、京东、美团、滴滴等一众互联网巨头，从去年到今年，接连开始组织架构的调整，意图建设中台...... 而上周一个阳光明媚的下午茶时间，我正狗啃着手抓饼。老板忽然把我们一班人拉进…

中台最近又成了比较热的话题，结合我对中台的认知，试图跟你回答下这些问题：1.互联网公司的中台到底是什么？2.中台有哪些类型？3.中台有哪些困境？4.互联网公司中台的现状 5.关于中台的建议 1 中台化据说是马云参观 Supercell 后在阿里巴巴提出的，要求“大中台、小前台”…

从2012年开始，几乎人人（至少是互联网界）言必称大数据，似乎不和大数据沾点边都不好意思和别人聊天。从2016年开始，大数据系统逐步开始在企业中进入部署阶段，大数据的炒作逐渐散去，随之而来的是应用的蓬勃发展期，一些代表成熟技术的标志性IPO在国内外资本市场也不断出现。转眼间，大…