梧桐数据库表格式的介绍

一、说明

梧桐数据库是一款分布式数据库，它支持多种存储格式，包括ROW、ORC、Hudi和MagmaAP。这些存储格式中，ROW是按行存储的格式，而ORC、Hudi和MagmaAP则是按行列存储的格式。在创建表时，用户可以根据需求选择不同的存储格式，例如创建一个默认的ORC表或显式指定为ROW存储格式的表。此外，梧桐数据库还支持创建S3内表，并且提供了基于Hash的分布和Random分布两种数据分布方式。MagmaAP格式的表在创建时默认使用Hash分布，并且支持索引。

二、每种表格式的区别和创建方式

1. ROW格式

这是一种按行存储的格式，适合于需要频繁进行行级更新或删除操作的场景。ROW格式的表不支持索引，但在梧桐数据库中，它支持存储压缩，如SNAPPY和ZLIB，以优化存储空间的使用。

• 创建row格式的表

CREATE TABLE rank2 (
    id int,
    rank int,
    year smallint,
    gender char(1),
    count int
) WITH (appendonly = true, orientation = row);

• 创建snappy压缩格式的row表

CREATE TABLE rank3 (
    id int,
    rank int,
    year smallint,
    gender char(1),
    count int
) WITH (appendonly = true, orientation = row, compresstype = snappy);

2. ORC格式

是一种列式存储格式，它在存储效率和查询性能之间提供了良好的平衡。ORC格式支持多种压缩算法，如LZ4、SNAPPY、ZSTD和ZLIB，适用于OLAP（在线分析处理）场景，可以显著提高数据扫描和查询的速度。

• 默认创建orc

CREATE TABLE rank1 (
    id int,
    rank int,
    year smallint,
    gender char(1),
    count int
);

• 指定创建orc表

CREATE TABLE rank4 (
    id int,
    rank int,
    year smallint,
    gender char(1),
    count int
) WITH (appendonly = true, orientation = orc);

• 创建带压缩的orc表

CREATE TABLE rank5 (
    id int,
    rank int,
    year smallint,
    gender char(1),
    count int
) WITH (appendonly = true, orientation = orc, compresstype = lz4);

3. Hudi格式

Apache Hudi是一种支持插入和更新操作的存储格式，它允许用户在保持数据文件不可变的同时进行数据的实时更新。Hudi格式的表适用于需要高吞吐量数据摄入和更新的场景，同时支持数据的快速查询。

• 创建hudi表

CREATE TABLE rank6 (
    id int,
    rank int,
    year smallint,
    gender char(1),
    count int
) WITH (appendonly = true, orientation = horc, type = mor);

• 创建带压缩的hudi表

CREATE TABLE rank7 (
    id int,
    rank int,
    year smallint,
    gender char(1),
    count int
) WITH (appendonly = true, orientation = horc, type = mor, compresstype = lz4);

4. MagmaAP格式

这是一种梧桐数据库特有的存储格式，它支持行存储和列存储的混合模式，并且内部自动实现了数据压缩。MagmaAP格式的表支持主键索引，适合于需要高并发写入和复杂查询的场景。

• 创建带压缩的magma表

CREATE TABLE rank8 (
    id int,
    rank int,
    year smallint,
    gender char(1),
    count int
) FORMAT 'magmaap';

 

注：在表的存储模型方面，WuTongDB提供了丰富的选项，例如可以创建snappy压缩的ROW表或不压缩的ORC表。同时，用户还可以创建带有primary key的MagmaAP表，这种表内部自动实现了压缩。WuTongDB的表存储模型支持多种特性，如行/列存储、存储格式、是否支持新执行器、压缩支持、是否支持UPDATE/DELETE操作以及是否支持索引等。

三、表格式区别对比

特性	ROW	ORC	Hudi	MAGMAAP
行/列存储	行	行列混存	行列混存	行列混存
存储格式	自定义存储格式	兼容标准 ORC 格式	兼容 Apache Hudi 表格式	自定义存储格式
是否支持新执行器	不支持	支持	支持	支持
压缩	支持 snappy , zlib	支持 lz4 , snappy , zstd , zlib	支持 lz4 , snappy , zstd , zlib	自动选择压缩算法，不需要用户指定
UPDATE / DELTE	支持	支持	支持	支持
INDEX	不支持	不支持	不支持	支持