大数据
5篇文章 · 0订阅
  • Flink kafka source & sink 源码解析
    下面将分析这两个流程是如何衔接起来的。 这里最重要的就是 userFunction.run(ctx);，这个 userFunction 就是在上面初始化的时候传入的 FlinkKafkaConsumer 对象，也就是说这里实际调用了 FlinkKafkaConsumer 中的 …
    Flink
  • 一篇文章彻底搞懂snowflake算法及百度美团的最佳实践
    写在前面的话一提到分布式ID自动生成方案，大家肯定都非常熟悉，并且立即能说出自家拿手的几种方案，确实，ID作为系统数据的重要标识，重要性不言而喻，而各种方案也是历经多代优化，请允许我用这个视角对分布式
    分布式
  • HBase的基本原理
    Apache HBase is a database that runs on a Hadoop cluster. HBase is not a traditional RDBMS, as it relaxes the ACID (Atomicity, Consistency,…
    HBase
  • 带你入坑大数据（四）--- 资源调度框架Yarn
    在MapReduce的时候也许很多人会有这种疑问：写了MR后，map task和reduce task是如何在多节点上并行执行的，而且又是怎么决定哪个任务执行再哪个节点上的？其实这些问题都是和这个Yarn有关。因为Yarn这个框架其实不仅仅是支持MR，还可以运行各种各样的程序。…
    大数据
  • 用流程图来理解 - ZooKeeper 中的 ZAB 协议
    ZAB 协议全称 ZooKeeper Atomic Broadcast，是 zookeeper 维持数据一致性的核心算法。基于该协议，zk 实现了主备模式的系统架构来保持集群中各副本的一致性。对于改变服务状态的写请求，通过一致性协议处理同步。对于读请求可以在本地副本上进行返回。…
    ZooKeeper