Daniel_Qu

Kafka Connect常用于各种Kafka于外界的数据传输。Transform是connect中的组件，可以用来转换数据类型，增减字段等。

单个yarnsession模式在yarn集群中，我们提交了一个yarnsession任务，给这个session分配了一定大小的资源，这个session相当于是一个application，它是一个常驻任

Kafka为了提高吞吐量，Producer采用批量发送数据的模式。Producer可以通过配置设置整个batch缓冲区的大小以及每一个batch的大小： 当消息达到把batch大小，就会在buffer中申请一定大小的空间，封装成一个新的batch。然后Producer就会以ba…

记录Kafka producer中读写分离设计的CopyOnWriteMap。 读写分离的设计使得使用这个数据类型的时候，写数据时需要耗费更多的内存空间，但是在读取数据的时候不需要加锁，读取效率非常的高效。 Kafka Producer可以批量发送数据，每一个批次是一个batc…

Kafka为我们提供了默认的分区策略和自定义消息分区策略两种方式管理producer端消息分区。 Kafka默认分区使用的是DefaultPartitioner，它实现了Partitioner接口。 首先我们看一下Partitioner接口。 很显然，partition方法就是…

为了让程序员能更加专注代码本身，Java通过后台GC自动管理内存垃圾。通常情况下，GC程序可以解决大部分内存回收的问题，但是如果代码写的不规范就会存在内存泄露的问题。 Java GC程序通过引用计数和根节点可达性来标记某个内存空间是否需要回收。 引用计数法就是某个对象被引用一次…