expect7g

前言 上篇文章Paimon源码解读 -- Compaction-1.MergeTreeCompactTask解析了Paimon-Compaction阶段的大概流程 其中Pa...

前言 专用压缩任务的前提是DDL的时候配置了write-only=true后，单独开启一个Flink任务去做压缩 二.专用压缩任务流程 1.CompactProcedure...

前言 本文重点介绍Paimon-Compaction的重要策略，包括全量压缩、比率压缩等 关键概念： SortedRun：有序的文件集合 Level 0: 每个文件是一个 ...

前言 本文重点介绍压缩中的KeyValueFileStoreWrite类，该类和compact很多流程都相关 一.KeyValueFileStoreWrite类 该类的继承...

前言 本文重点介绍CompactManager的机制 一.CompactManager接口 这是个接口，其继承关系如下 二.MergeTreeCompactManager类...

前言 本文重点介绍Paimon压缩参数full-compaction.delta-commits的整体调用流程，涉及到CompactTask的详情：Paimon源码解读 -...

前言 本文学习自Flink官方社区 一.什么是Delta Join，它是干啥的？ 1.实时的痛点 实时最大痛点：传统流式 Join 在面对海量数据和高基数 Key 时却遇到...

前言 上篇文章Paimon源码解读 -- Compaction-1.MergeTreeCompactTask解析了Paimon-Compaction阶段的大概流程 其中Pa...

前言 上篇文章Paimon源码解读 -- Compaction-1.MergeTreeCompactTask解析了Paimon-Compaction阶段的大概流程，而最后发...

Branch是什么？ 可以理解为是git的分支，分为主分支、dev分支等等，而最后读取的时候就相当于是分支的一个merge合并 在流式数据处理中，数据可能因为乱序等问题，存...

一.抽象父类CompactTask 其实现子类如下图 MergeTreeCompactTask是主键表的合并流程； 其他两个，都是BucketedAppendCompact...

一.父接口MergeFunction 其实现子类如下图 可以看到，Paimon中所有的Merge Engine都实现了MergeFunction接口，那么继续看该接口中的4...

Flink 也经历了多种 Shuffle 模式的演变，进行了多轮迭代和优化，实现了许多创新:从最初的 Pipelined Shuffle，到 Blocking Shuffl...

1.Paimon相关架构 所有相关的Paimon的架构建议去看Paimon基本概念 2.Paimon读取流程 首先，需要知道计算层和存储层之间是怎么连接的 计算层：就是Fl...

1.为什么会冲突？ Paimon可能有两种类型的提交失败： 快照冲突：快照 ID 已被抢占，表已从另一个作业生成新快照。好，让我们再次提交。 文件冲突：此作业要删除的文件已...

1.慢查询的定位、优化、验证结果 (1) 慢日志问题排查 Doris 提供慢查询审计日志与EXPLAIN/PROFILE 工具链，实现从 “宏观耗时统计” 到 “微观执行细...

Flink API的相关优化 1. 如何优化Flink的Checkpoint机制？ 增大Checkpoint间隔：减少对作业吞吐量的影响（如从1分钟调整为5分钟）。 使用增...

先说结论 COW：Copy-on-Write这是一种较为普遍和通用的存储优化策略在Linux和中都有使用，也叫写时拷贝 写入时合并，重写整个数据文件，必定存在写入吞吐量低、...

结论 FLink KeyBy算子的KeySelector的构造是在JobManager/客户端构造的，而getKey获取key去进行分区，是在TaskManager的sub...