首页
沸点
课程
数据标注
HOT
AI Coding
更多
直播
活动
APP
插件
直播
活动
APP
插件
搜索历史
清空
创作者中心
写文章
发沸点
写笔记
写代码
草稿箱
创作灵感
查看更多
登录
注册
expect7g
掘友等级
大数据开发工程师
大数据、Agent、大模型相关
获得徽章 0
动态
文章
专栏
沸点
收藏集
关注
作品
赞
34
文章 34
沸点 0
赞
34
返回
|
搜索文章
最新
热门
Paimon Branch --- 流批一体化之二
Branch是什么? 可以理解为是git的分支,分为主分支、dev分支等等,而最后读取的时候就相当于是分支的一个merge合并 在流式数据处理中,数据可能因为乱序等问题,存在不准确的情况,这是实时的通
Paimon源码解读 -- Compaction-1.MergeTreeCompactTask
一.抽象父类CompactTask 其实现子类如下图 MergeTreeCompactTask是主键表的合并流程; 其他两个,都是BucketedAppendCompactanager里面的内部类,也
Paimon源码解读 -- PartialUpdateMerge
一.父接口MergeFunction 其实现子类如下图 可以看到,Paimon中所有的Merge Engine都实现了MergeFunction接口,那么继续看该接口中的4个抽象方法 二.Partia
Flink Shuffle
Flink 也经历了多种 Shuffle 模式的演变,进行了多轮迭代和优化,实现了许多创新:从最初的 Pipelined Shuffle,到 Blocking Shuffle,再到创新性地提出 Hyb
Flink-To-Paimon 读取机制
1.Paimon相关架构 所有相关的Paimon的架构建议去看Paimon基本概念 2.Paimon读取流程 首先,需要知道计算层和存储层之间是怎么连接的 计算层:就是Flink、Spark、Hive
Paimon 冲突💣
1.为什么会冲突? Paimon可能有两种类型的提交失败: 快照冲突:快照 ID 已被抢占,表已从另一个作业生成新快照。好,让我们再次提交。 文件冲突:此作业要删除的文件已被其他作业删除。此时,作业只
Doris优化---持续更新
1.慢查询的定位、优化、验证结果 (1) 慢日志问题排查 Doris 提供慢查询审计日志与EXPLAIN/PROFILE 工具链,实现从 “宏观耗时统计” 到 “微观执行细节” 的全链路剖析。 <1>
Flink API优化---持续更新
Flink API的相关优化 1. 如何优化Flink的Checkpoint机制? 增大Checkpoint间隔:减少对作业吞吐量的影响(如从1分钟调整为5分钟)。 使用增量Checkpoint(Ro
COW、MOR、MOW
先说结论 COW:Copy-on-Write这是一种较为普遍和通用的存储优化策略在Linux和中都有使用,也叫写时拷贝 写入时合并,重写整个数据文件,必定存在写入吞吐量低、写入延迟高,写入效率低 读取
Flink KeySelector
结论 FLink KeyBy算子的KeySelector的构造是在JobManager/客户端构造的,而getKey获取key去进行分区,是在TaskManager的subTask中执行的,因此,这就
下一页
个人成就
文章被点赞
36
文章被阅读
14,465
掘力值
1,053
关注了
2
关注者
11
收藏集
0
关注标签
36
加入于
2022-10-15