在上一节中，我们搭建了一个kafka集群,但是kafka集群在运行的过程中会产生各种数据，比如broker信息、集群信息、主题信息、消费者信息等等，而kafka自身没有提供一个图形化的监控界面，此处我们使用kafka-eagle来搭建一个kafka的管理监控界面。 KE_HOM…

应大部分的小伙伴的要求，在Yarn之前先来一个kafka的小插曲，轻松愉快。 所以消息系统就是如上图我们所说的仓库，能在中间过程作为缓存，并且实现解耦合的作用。 引入一个场景，我们知道中国移动，中国联通，中国电信的日志处理，是交给外包去做大数据分析的，假设现在它们的日志都交给了…

今天给大家聊一个很有意思的话题，大家知道很多公司都会基于Kafka作为MQ来开发一些复杂的大型系统。 而在使用Kafka的客户端编写代码与服务器交互的时候，是需要对客户端设置很多的参数的。 所以我就见过很多年轻的同学，可能刚刚加入团队，对Kafka这个技术其实并不是很了解。 此…

此时我们要拉取一个version的值，并把一个 needUpdate 参数修改为true，然后去唤醒 Sender 线程去拉取元数据，而这需要通过一个网络组件 NetworkClient 和Broker通信。 在此同时，主线程会进行阻塞，等待元数据的到来。而当元数据拉取完成后，…

如果只是为了开发 Kafka 应用程序，或者只是在生产环境使用 Kafka，那么了解 Kafka 的内部工作原理不是必须的。不过，了解 Kafka 的内部工作原理有助于理解 Kafka 的行为，也利用快速诊断问题。下面我们来探讨一下这三个问题 如果感兴趣的话，就请花费你一些时间…