生产者消息发送流程

发送原理

在消息发送的过程中，涉及到了两个线程——main线程和Sender线程。在main线程中创建了一个双端队列RecordAccumulator。main线程将消息发送给RecordAccumulator，Sender线程不断从RecordAccumulator中拉取消息发送到Kafka Broker

生产者发送流程.png

生产者重要参数列表

bootstrap.servers

生产者连接集群所需的broker地址清单。例如hadoop102:9092,hadoop103:9092,hadoop104:9092，可以设置1个或者多个，中间用逗号隔开

注意：这里并非需要所有的broker地址，因为生产者从给定的broker里查找到其他broker信息

key.serializer和value.serializer

指定发送消息的key和value的序列化类型，一定要写全类名

可以使用反射获取

StringSerializer.class.getName()

buffer.memory

RecordAccumulator缓冲区总大小，默认32M

batch.size

缓冲区一批数据最大值，默认16K。适当增加该值，可以提高吞吐量，但是如果该值设置太大，会导致数据传输延迟增加

linger.ms

如果数据迟迟未达到batch.size，sender等待linger.time之后就会发送数据。单位ms，默认值是0ms，表示没有延迟。生产环境建议该值大小为5-100ms之间

acks

当kafka集群收到生产者发过来的信息时，对这个信息的一种响应机制，有以下三种模式：
- 0：生产者发送过来的数据，不需要等数据落盘应答。
- 1：生产者发送过来的数据，Leader收到数据后应答。
- -1（all）：生产者发送过来的数据，Leader和ISR队列里面的所有节点收齐数据后应答。默认值是-1
max.in.flight.requests.per.connection

允许最多没有返回ack的次数，默认为5，开启幂等性要保证该值是 1-5的数字

retries

当消息发送出现错误的时候，系统会重发消息。retries表示重试次数。默认是int最大值，2147483647。

如果设置了重试，还想保证消息的有序性，需要设置MAX_IN_FLIGHT_REQUESTS_PER_CONNECTION=1

否则在重试此失败消息的时候，其他的消息可能发送成功了

retry.backoff.ms

两次重试之间的时间间隔，默认是100ms

enable.idempotence

是否开启幂等性，默认true，开启幂等性

compression.type

生产者发送的所有数据的压缩方式。默认是none，也就是不压缩。

支持压缩类型：none、gzip、snappy、lz4和zstd

异步发送API

导入依赖

<dependencies>
     <dependency>
          <groupId>org.apache.kafka</groupId>
          <artifactId>kafka-clients</artifactId>
          <version>3.0.0</version>
     </dependency>
</dependencies>

普通异步发送

在测试类中主方法中写入以下代码

public static void main(String[] args) throws InterruptedException {		
		// 1. 创建kafka生产者的配置对象
        Properties properties = new Properties();

        // 2. 给kafka配置对象添加配置信息：bootstrap.servers
        properties.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, "hadoop102:9092");
        
        // key,value序列化（必须）：key.serializer，value.serializer
        properties.put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.StringSerializer");
        properties.put(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.StringSerializer");

        // 3. 创建kafka生产者对象
        KafkaProducer<String, String> kafkaProducer = new KafkaProducer<String, String>(properties);

        // 4. 调用send方法,发送消息
        for (int i = 0; i < 5; i++) {
            kafkaProducer.send(new ProducerRecord<>("first" , "test " + i));
        }

        // 5. 关闭资源
        kafkaProducer.close();
}

开启Kafka消费者

kafka-console-consumer.sh --bootstrap-server hadoop102:9092 --topic first

运行上述代码，在控制台中查看结果

带回调函数的异步发送

回调函数会在producer收到ack时调用，为异步调用

该方法有两个参数，分别是元数据信息（RecordMetadata）和异常信息（Exception）

如果Exception为null，说明消息发送成功，如果Exception不为null，说明消息发送失败

在测试类中主方法中写入以下代码

 public static void main(String[] args) throws InterruptedException {

        // 1. 创建kafka生产者的配置对象
        Properties properties = new Properties();

        // 2. 给kafka配置对象添加配置信息
        properties.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, "hadoop102:9092");

        // key,value序列化（必须）：key.serializer，value.serializer
        properties.put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG, StringSerializer.class.getName());
        properties.put(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG, StringSerializer.class.getName());

        // 3. 创建kafka生产者对象
        KafkaProducer<String, String> kafkaProducer = new KafkaProducer<String, String>(properties);

        // 4. 调用send方法,发送消息
        for (int i = 0; i < 5; i++) {

            // 添加回调
            kafkaProducer.send(new ProducerRecord<>("first", "test " + i), new Callback() {

                // 该方法在Producer收到ack时调用，为异步调用
                @Override
                public void onCompletion(RecordMetadata metadata, Exception exception) {

                    if (exception == null) {
                        // 没有异常,输出信息到控制台
                        System.out.println("主题：" + metadata.topic() + "->"  + "分区：" + metadata.partition());
                    } else {
                        // 出现异常打印
                        exception.printStackTrace();
                    }
                }
            });
            // 延迟一会会看到数据发往不同分区
            Thread.sleep(2);
        }
        // 5. 关闭资源
        kafkaProducer.close();
    }
}

在send方法中，使用匿名内部类或lambda表达式重写Callback的回调方法

其他步骤与普通异步方法一致

开启Kafka消费者

kafka-console-consumer.sh --bootstrap-server hadoop102:9092 --topic first

运行上述代码，在控制台中查看结果

同步发送API

只需在异步发送的基础上，再调用一下get()方法即可

kafkaProducer.send(new ProducerRecord<>("first","kafka" + i)).get();

开启Kafka消费者

kafka-console-consumer.sh --bootstrap-server hadoop102:9092 --topic first

运行上述代码，在控制台中查看结果

生产者分区

分区好处

便于合理使用存储资源，每个Partition在一个Broker上存储，可以把海量的数据按照分区切割成一块一块数据存储在多台Broker上。合理控制分区的任务，可以实现负载均衡的效果
提高并行度，生产者可以以分区为单位发送数据；消费者可以以分区为单位进行消费数据

生产者发送消息的分区策略

默认的分区器DefaultPartitioner

源码描述如下：

/**
 * The default partitioning strategy:
 * <ul>
 * <li>If a partition is specified in the record, use it
 * <li>If no partition is specified but a key is present choose a partition based on a hash of the key
 * <li>If no partition or key is present choose the sticky partition that changes when the batch is full.
 * 
 * See KIP-480 for details about sticky partitioning.
 */
public class DefaultPartitioner implements Partitioner {
    … …
}

在调用KafkaProducer生产者对象的send方法时，该方法有多个重载方法，从而实现不同的分区策略

在指明partition的情况下，直接将指明的值作为partition值

public ProducerRecord(String topic, Integer partition, Long timestamp, K key, V value, Iterable<Header> headers) 

public ProducerRecord(String topic, Integer partition, Long timestamp, K key, V value) 

public ProducerRecord(String topic, Integer partition, K key, V value, Iterable<Header> headers) 

public ProducerRecord(String topic, Integer partition, K key, V value)

没有指明partition值但有key的情况下，将key的hash值与topic的partition数进行取余得到partition值

public ProducerRecord(String topic, K key, V value)

既没有partition值又没有key值的情况下，Kafka采用Sticky Partition（黏性分区器），会随机选择一个分区，并尽可能一直使用该分区，待该分区的batch已满或者已完成，Kafka再随机一个分区进行使用（和上一次的分区不同）

public ProducerRecord(String topic, V value)

自定义分区器

实现步骤：

定义类实现Partitioner接口
重写partition()方法

 @Override
    public int partition(String topic, Object key, byte[] keyBytes, Object value, byte[] valueBytes, Cluster cluster) {
        // 获取消息
        String msgValue = value.toString();
        // 创建partition
        int partition;
        // 判断消息是否包含partition
        if (msgValue.contains("partition")){
            partition = 0;
        }else {
            partition = 1;
        }
        // 返回分区号
        return partition;
    }

在生产者的配置中添加分区器参数

properties.put(ProducerConfig.PARTITIONER_CLASS_CONFIG,MyPartition.class.getName());

生产者如何提高吞吐量

在Properties对象中调用put方法传入需要调整的参数

// batch.size：批次大小，默认16K
properties.put(ProducerConfig.BATCH_SIZE_CONFIG, 16384);

 // linger.ms：等待时间，默认0
 properties.put(ProducerConfig.LINGER_MS_CONFIG, 1);

// RecordAccumulator：缓冲区大小，默认32M：buffer.memory
properties.put(ProducerConfig.BUFFER_MEMORY_CONFIG, 33554432);

// compression.type：压缩，默认none，可配置值gzip、snappy、lz4和zstd
properties.put(ProducerConfig.COMPRESSION_TYPE_CONFIG,"snappy");

数据可靠性

ack应答原理

0：生产者发送过来的数据，不需要等数据落盘应答。

当Leader宕机时，Producer发送的信息将全部丢失

数据可靠性分析：丢失数据

1：生产者发送过来的数据，Leader收到数据后应答

当Leader在发送完ack应答之后，还没开始同步同步副本时宕机，其中一个Follower会成为新的Leader，新的 Leader不会收到上一个Leader已经收到的信息，但是Producer会认为发送成功

数据可靠性分析：丢失数据

-1（all）：生产者发送过来的数据，Leader和ISR队列里面的所有节点收齐数据后应答

该模式下大多数情况都是数据可靠性较高

特殊情况：

Leader收到数据，所有Follower都开始同步数据，但有一个Follower，因为某种故障，迟迟不能与Leader进行同步，从而会导致Producer一直收不到Follower的应答信息，导致卡死，那这个问题怎么解决呢？

解答：

Leader维护了一个动态的in-sync replica set（ISR），意为和Leader保持同步的Follower+Leader集合(leader：0，isr:0,1,2)。如果Follower长时间未向Leader发送通信请求或同步数据，则该Follower将被踢出ISR。该时间阈值由replica.lag.time.max.ms参数设定，默认30s

如果分区副本设置为1个，或者ISR里应答的最小副本数量（ min.insync.replicas 默认为1）设置为1，和ack=1的效果是一样的，仍然有丢数的风险（leader：0，isr:0）。

数据完全可靠条件 = ACK级别设置为-1 + 分区副本大于等于2 + ISR里应答的最小副本数量大于等于2

数据去重

幂等性

幂等性就是指Producer不论向Broker发送多少次重复数据，Broker端都只会持久化一条，保证了不重复

重复数据的判断标准：具有<PID, Partition, SeqNumber>相同主键的消息提交时，Broker只会持久化一条。其中PID是Kafka每次重启都会分配一个新的；Partition 表示分区号；Sequence Number是单调自增的。

所以幂等性只能保证的是在单分区单会话内不重复。

幂等性开启参数enable.idempotence 默认为true，false关闭

生产者事务

0.11版本的Kafka同时引入了事务的特性，为了实现跨分区跨会话的事务，需要引入一个全局唯一的Transaction ID，并将Producer获得的PID和Transaction ID绑定。这样当Producer重启后就可以通过正在进行的Transaction ID获得原来的PID。为了管理Transaction，Kafka引入了一个新的组件Transaction Coordinator。Producer就是通过和Transaction Coordinator交互获得Transaction ID对应的任务状态。Transaction Coordinator还负责将事务所有写入Kafka的一个内部Topic，这样即使整个服务重启，由于事务状态得到保存，进行中的事务状态可以得到恢复，从而继续进行。 注意：提前开启幂等性!!!

大数据开发学习1.10-Kafka生产者

生产者消息发送流程

发送原理

生产者重要参数列表

异步发送API

普通异步发送

带回调函数的异步发送

同步发送API

生产者分区

分区好处

生产者发送消息的分区策略

默认的分区器DefaultPartitioner

自定义分区器

生产者如何提高吞吐量

数据可靠性

ack应答原理

数据去重

幂等性

生产者事务