kafka

当要对集群中的一个节点进行有计划的下线操作时，为了保证分区及副本的合理分配，我们也希望通过某种方式能将该节点上的分区副本迁移到其他可用节点上。

kafka-configs.sh脚本是专门用来对配置进行操作的，这里的操作是指在运行状态下修改原有的配置，如此可以达到动态变更的目的。

通过脚本进行主题的管理，包括：创建主题、查看主题、修改主题、删除主题等操作。内部是靠kafka.admin.TopicCommand接收参数运行。

线上问题：由于某些情况，kafka停机了2天，但是启动后不能继续从停机时offset消费了，究竟原因是什么呢？

topic都是多分区，多副本，broker节点关闭后，由于某些情况，某个节点无法启动，其他节点都启动后，topic或部分分区仍不可用，造成无法选举leader

构造消息的对象ProducerRecord介绍 topic与partition字段分别代表消息要发往的主题和分区号。 headers字段是消息的头部，大多用来设定一些与应用相关的信息，如无需要，也可以

KafkaProducer中有三个参数是必填的： bootstrap.servers： 指定生产者客户端连接kafka集群所需的broker地址列表，格式为host1:port1,host2:port

maven 一个正常的生产逻辑需要具备以下几个步骤： 配置生产者客户端参数及创建相应的生产者实例 构建待发送的消息 发送消息 关闭生产者实例

1. zookeeper.connect ​ broker要连接zookeeper集群服务地址（包括端口号），没有默认值，此参数为必填项。如果zk集群中有多个节点，则可以用,分开。可以加一个chroo

配置 保证集群中每个broker的broker.id配置参数不一样，listeners配置参数改成对应的ip与端口，若在同一台机器日志路径不同，zk地址需一致 Node1 Node2 Node3 启动

首先安装zookeeper 修改kafka server.properties 文件 单机启动 创建主题 分区数为2，副本因子为1（只有一个broker） 查看主题详情 接收消息 --bootstra

CMAK (Cluster Manager for Apache Kafka) CMAK（以前叫做Kafka Manager）是一个kafka集群管理工具。支持如下特性： Manage multipl