用户3367373763940

avro是一种二进制数据编码格式，将一个类对象或者在说一种格式的数据转化二进制编码，可以将其写为文件，也可以存在于内存中，我们分析一下它在内存中的存储格式。 如图，在文件中存储时首先分为 header

v2写入逻辑在BaseDeltaTaskWriter中 这里的write其实就是BaseTaskWriter中BaseEqualityDeltaWriter类的子类RowDataDeltaWriter

首先在 build() 方法中通过IcebergStreamWriter<RowData> streamWriter = createStreamWriter(table, flinkRowType,

使用flink状态需要先创建状态的类型描述，flink中的类型信息都使用TypeInformation进行描述，flink使用自定义的类型主要是为了对其存储做一些优化，比如对java类中变量存储的字节

首先Deletes类有4个静态内部类 其中EqualitySetDeleteFilter，PositionSetDeleteFilter，DataFileFilter都继承自Filter抽象类，其中需

读取流程一般都是通过planTasks方法返回CombinedScanTask，然后根据CombinedScanTask生成RowDataIterator迭代器访问数据 RowDataIterator

flink读取iceberg代码 首先调用创建一个Builder 然后进行一些设置，在调用build()进行构建 buildFormat()构建一些基本信息，如iceberg表，io，schema等信

过期删除代码 直接创建一个RemoveSnapshots，然后设置过期条件，然后直接进入到RemoveSnapshots的commit方法中 在internalApply()中对过期snapshot进

提交流程在IcebergFilesCommitter的snapshotState中 dataFilesPerCheckpoint.put(checkpointId, writeToManifest(c