用户3367373763940

avro是一种二进制数据编码格式，将一个类对象或者在说一种格式的数据转化二进制编码，可以将其写为文件，也可以存在于内存中，我们分析一下它在内存中的存储格式。 如图，在文件中...

特别提醒：当前Flink版本为：1.10 在一次启动Flink集群的过程中，内存参数方面采用下述配置： 很遗憾，在执行start-cluster.sh脚本的时候，报错。 鉴...

v2写入逻辑在BaseDeltaTaskWriter中 这里的write其实就是BaseTaskWriter中BaseEqualityDeltaWriter类的子类RowD...

首先在 build() 方法中通过IcebergStreamWriter<RowData> streamWriter = createStreamWriter(table,...

使用flink状态需要先创建状态的类型描述，flink中的类型信息都使用TypeInformation进行描述，flink使用自定义的类型主要是为了对其存储做一些优化，比如...

首先Deletes类有4个静态内部类 其中EqualitySetDeleteFilter，PositionSetDeleteFilter，DataFileFilter都继承...

读取流程一般都是通过planTasks方法返回CombinedScanTask，然后根据CombinedScanTask生成RowDataIterator迭代器访问数据 R...

flink读取iceberg代码 首先调用创建一个Builder 然后进行一些设置，在调用build()进行构建 buildFormat()构建一些基本信息，如iceber...

过期删除代码 直接创建一个RemoveSnapshots，然后设置过期条件，然后直接进入到RemoveSnapshots的commit方法中 在internalApply(...

提交流程在IcebergFilesCommitter的snapshotState中 dataFilesPerCheckpoint.put(checkpointId, wri...

以下为一个hive-catalog的iceberg表的所有存在hdfs目录中的文件 包含 1.parquet数据文件 2.json元数据文件 3.avro snapshot...

iceberg通过实现spark的datasource v2中的DataSourceReader接口来实现读取数据，这里使用DataSourceReader的子接口Supp...

这是flink的小文件合并代码 这是Actions类，应该主要是和spark中的结构对应，构造方法私有化，需提供静态方法forTable设置table参数去实例化Actio...

如果需要一个可以支持各个平台的批流一体调度引擎。需要有如下功能 由于flink1.11已经支持了SQL层面的批流一体，所以当下的需求就是保证在不同任务类型下,适应不同的执行...