Delta Lake、Hudi 与 Iceberg 详解 | 青训营笔记

82 阅读1分钟

这是我参与「第四届青训营 」笔记创作活动的第8天


本节课程目录:

1.发展历史
2.核心技术
3.各有所长
4.总结场景


1. 发展历史

1.1 发展阶段-hive(Hive不行,HBase可以呀!) image.png image.png 1.2 湖仓一体 image.png image.png image.png


2. 核心技术

2.1 假设设计一个数据湖 image.png image.png image.png 2.1.1 一般数据修改都是将元数据进行了覆盖,那如何还能拿到新数据和旧数据呢?
Time travel !
image.png image.png 2.2.2 如果多个用户需要对数据进行写,不会产生冲突吗?
image.png image.png 原子性: image.png 事务隔离: image.png 2.2.3 加入需要删除某个列?
image.png image.png 答案:先删除后添加,删除的Id不进行复用。