二十六画生的博客

主要思路：相同key值的消息写入同一个partition（partition内的消息是有序的），一个partition的消息只会被一个消费者消费。 如果一个消费者是多个线程消费，则需要把pull来的消

副本数是1 ，意思是就一个分区，同时也是主分区 副本数是2，意思是有2个分区，1个是主分区，1个是从分区 副本数已把主分区数包含在内。 设置replication.factor >= 3。这也是Bro

关系型数据库本身比较容易成为系统瓶颈，单机存储容量、连接数、处理能力都有限。当单表的数据量达到 1000W 或 100G 以后，由于查询维度较多，即使添加从库、优化索引，做很多操作时性能仍下降严重。此

auto.offset.reset关乎kafka数据的读取，是一个非常重要的设置。常用的二个值是latest和earliest，默认是latest。 latest和earliest区别 1，earli

概念 Flink supports different notions of time in streaming programs. flink支持不同的 time 流媒体的概念。 处理时间： 处理时

块大小取决于dfs.blocksize，2.x默认为128M，1.x默认为64M（128M指的是块的最大大小！每个块最多存储128M的数据，如果当前块存储的数据不满128M，存了多少数据，就占用多少的

IN适合于外表大而内表小的情况；EXISTS适合于外表小而内表大的情况。 in /exists / left semi join 不会产生笛卡尔积 ！ inner join可能会产生笛卡尔积！ 1.

1 Standalone Cluster Master-Slave架构，JobManager运行在Master节点，TaskManager运行在Slave节点，与HDFS/Hadoop无关 Activ

前提条件 任何消息组件不丢数据都是在特定场景下一定条件的，kafka要保证消息不丢，有两个核心条件。 第一，必须是已提交的消息，即committed message。kafka对于committed