无论 kafka 作为 MQ 也好，作为存储层也罢，无非就是两个功能（好简单的样子），一是 Producer 生产的数据存到 broker，二是 Consumer 从 broker 读取数据。那 Kafka 的快也就体现在读写两个方面了，下面我们就聊聊 Kafka 快的原因。 …

Apache Kafka是由Apache开发的一种发布订阅消息系统。 发布和订阅记录流，类似于消息队列或企业消息传递系统。 以容错的持久方式存储记录流。 处理记录流。 Kafka集群中，一个kafka实例被称为一个代理(Broker)节点。 消息的生产者被称为Producer。…

应大部分的小伙伴的要求，在Yarn之前先来一个kafka的小插曲，轻松愉快。 所以消息系统就是如上图我们所说的仓库，能在中间过程作为缓存，并且实现解耦合的作用。 引入一个场景，我们知道中国移动，中国联通，中国电信的日志处理，是交给外包去做大数据分析的，假设现在它们的日志都交给了…

Kafka 是由 Linkedin 公司开发的，它是一个分布式的，支持多分区、多副本，基于 Zookeeper 的分布式消息流平台，它同时也是一款开源的基于发布订阅模式的消息引擎系统。 消息：Kafka 中的数据单元被称为消息，也被称为记录，可以把它看作数据库表中某一行的记录。…

在系列的前两篇文章中，介绍了ZooKeeper环境的搭建（包括单机版、伪集群和集群），对创建、删除、修改节点等场景用命令行的方式进行了测试，让大家对ZooKeeper环境搭建及常用命令行有初步的认识，也为搭建ZooKeeper的开发环境、生产环境起到了抛砖引玉的作用。也介绍了用…

1. 面试官：工作中使用过Zookeeper嘛？你知道它是什么，有什么用途呢？ 有使用过的，使用ZooKeeper作为dubbo的注册中心，使用ZooKeeper实现分布式锁。 ZooKeeper，它是一个开放源码的分布式协调服务，它是一个集群的管理者，它将简单易用的接口提供给…

一到冬天就懒的不行，望广大掘友督促我🙄🙄✍️✍️。 ZooKeeper 由 Yahoo 开发，后来捐赠给了 Apache ，现已成为 Apache 顶级项目。ZooKeeper 是一个开源的分布式应用程序协调服务器，其为分布式系统提供一致性服务。其一致性是通过基于 Paxo…

Zookeeper的数据模型是什么样子呢？它很像数据结构当中的树，也很像文件系统的目录。 树是由节点所组成，Zookeeper的数据存储也同样是基于节点，这种节点叫做Znode。 这样的层级结构，让每一个Znode节点拥有唯一的路径，就像命名空间一样对不同信息作出清晰的隔离。 …

Hive是一个可以将SQL翻译为MR程序的工具，支持用户将HDFS上的文件映射为表结构，然后用户就可以输入SQL对这些表（HDFS上的文件）进行查询分析。Hive将用户定义的库、表结构等信息存储hive的元数据库（可以是本地derby，也可以是远程mysql）中。 这样设置只是…