大云海山数据库(He3DB)基于pg_mooncake插件实现列存兼容

大云海山数据库(He3DB)基于pg_mooncake插件实现列存兼容

1. 引言

PostgreSQL作为一款功能强大的开源关系型数据库，默认采用行存储方式，这种存储方式在OLTP（在线事务处理）场景下能高效支持频繁的增删改查操作。然而，在OLAP（在线分析处理）场景中，如大规模数据统计、复杂报表生成等，行存储面临着数据扫描范围广、IO开销大、查询效率低等问题。列存储凭借其在数据压缩、批量查询、聚合计算等方面的显著优势，成为OLAP场景的理想选择。

pg_mooncake插件是一款专为PostgreSQL设计的列存兼容插件，它能够在不改变PostgreSQL核心架构的前提下，为数据库引入列存储能力，实现行存与列存的协同工作，让用户在享受PostgreSQL原有功能的同时，也能满足OLAP场景的性能需求。本文将详细阐述PostgreSQL如何通过pg_mooncake插件实现列存兼容，包括核心原理、插件特性、安装过程及使用方法。

2. PostgreSQL与pg_mooncake列存兼容原理

pg_mooncake插件实现PostgreSQL列存兼容的核心思路是基于PostgreSQL的表访问方法（Table Access Method）接口进行扩展，构建独立的列存储引擎，并与PostgreSQL的事务机制、元数据管理、查询优化器等核心模块深度集成，确保列存表的功能完整性和数据一致性。其具体原理可分为以下几个关键部分：

2.1 表访问方法扩展

PostgreSQL提供了灵活的表访问方法接口，允许第三方插件自定义表的存储结构和访问逻辑。pg_mooncake插件通过实现该接口，注册了名为“mooncake_column”的列存表访问方法。当用户创建列存表时，PostgreSQL会调用pg_mooncake提供的接口函数，完成列存表的元数据创建、数据存储结构初始化等操作；在执行查询、插入、更新等操作时，数据库会通过该接口路由到pg_mooncake的列存引擎进行处理。

2.2 列存数据存储结构

与行存储将一行数据的所有字段连续存储在磁盘上不同，pg_mooncake采用列存方式将表中每个列的所有数据单独存储为一个或多个列文件。为了提升存储效率和查询性能，pg_mooncake对列数据进行了以下优化：

• 数据分区：将每个列的数据按照固定大小（默认64MB，可配置）划分为多个数据块（Segment），每个数据块对应磁盘上的一个物理文件，便于数据的并行扫描和管理。
• 压缩存储：针对不同数据类型（如整数、字符串、日期等）提供了多种压缩算法（如LZ4、Snappy、ZSTD等），默认采用LZ4算法实现高效压缩，减少磁盘存储空间占用，同时降低IO开销。
• 索引优化：为列存表提供了专门的列存索引支持，基于列数据的特性构建索引，如针对数值型列的B+树索引、针对字符串列的GIN索引等，提升查询时的列数据定位效率。

2.3 事务一致性保障

pg_mooncake深度集成PostgreSQL的事务机制，通过以下方式确保列存表的ACID特性：

• Write-Ahead Logging（WAL）集成：列存表的所有修改操作（插入、更新、删除）都会先写入PostgreSQL的WAL日志，再应用到列存数据文件中。当数据库发生崩溃时，可通过WAL日志进行恢复，保证数据的持久性和一致性。
• 多版本并发控制（MVCC）支持：借鉴PostgreSQL行存的MVCC机制，为列存表的每个数据块维护版本信息。在查询时，根据事务的可见性规则筛选出符合条件的版本数据，实现读写不阻塞、读读不阻塞的并发控制。

2.4 查询优化集成

pg_mooncake与PostgreSQL的查询优化器深度协同，确保列存表能被优化器识别并生成高效的执行计划：

• 统计信息收集：插件会定期收集列存表的统计信息（如列的基数、数据分布、空值比例等），并将其纳入PostgreSQL的系统统计信息中，为查询优化器提供数据支持。
• 执行计划优化：查询优化器会根据查询语句的特点（如是否包含聚合函数、过滤条件、关联操作等），自动判断是否使用列存表，并生成针对性的执行计划。例如，对于包含大量聚合计算的查询，优化器会选择列存表的并行扫描方式，结合列数据的压缩特性，大幅提升查询效率。

3. pg_mooncake插件核心特性

3.1 高效的列存储能力

pg_mooncake采用原生列存架构，针对OLAP场景进行了深度优化。在大规模数据聚合查询场景下，相比PostgreSQL默认的行存表，查询效率可提升5-10倍；同时，通过多种压缩算法的支持，列存表的存储空间占用可降低40%-70%，有效节省存储成本。

3.2 与PostgreSQL原生功能高度兼容

pg_mooncake插件遵循PostgreSQL的接口规范，与数据库的原生功能实现了高度兼容，具体表现为：

• 支持PostgreSQL的所有数据类型，包括基本数据类型（int、varchar、date等）、复杂数据类型（array、json、hstore等）以及自定义数据类型。
• 支持PostgreSQL的常用SQL语法，包括SELECT、INSERT、UPDATE、DELETE、CREATE INDEX、ALTER TABLE等，用户无需修改现有SQL语句即可使用列存表。
• 支持PostgreSQL的高级特性，如事务、MVCC、触发器、存储过程、视图等，确保列存表能无缝融入现有业务系统。

3.3 灵活的压缩策略

pg_mooncake提供了多种压缩算法供用户选择，包括LZ4、Snappy、ZSTD等，不同算法在压缩比和压缩/解压缩速度上各有优势：

• LZ4：默认压缩算法，压缩和解压缩速度极快，适合对查询响应速度要求较高的场景。
• Snappy：压缩比略高于LZ4，速度接近LZ4，是压缩比和速度的平衡选择。
• ZSTD：压缩比最高，适合对存储空间要求较高但对压缩/解压缩速度要求相对较低的场景。

用户可根据业务场景的需求，为不同的列存表或列指定不同的压缩算法。

3.4 并行查询支持

pg_mooncake充分利用多核CPU的性能，支持列存表的并行扫描和并行聚合操作。在执行大规模数据查询时，PostgreSQL的查询优化器会根据CPU核心数和查询复杂度，自动分配多个工作进程对列存表的不同数据块进行并行处理，大幅提升查询的并行度和执行效率。

3.5 行存与列存协同工作

pg_mooncake支持在同一数据库实例中同时存在行存表和列存表，并且允许两者之间进行关联查询。用户可以根据业务场景的特点，将OLTP业务数据存储在行存表中，将OLAP分析数据存储在列存表中，通过跨表查询实现业务数据与分析数据的联动，兼顾事务处理效率和分析查询性能。

4. pg_mooncake插件安装过程

4.1 安装前提条件

在安装pg_mooncake插件前，需确保系统满足以下前提条件：

• PostgreSQL版本：支持PostgreSQL 11、12、13、14版本，建议使用12及以上版本以获得更好的兼容性和性能。
• 操作系统：支持Linux（CentOS 7/8、Ubuntu 18.04/20.04等）、Windows Server 2016及以上版本，推荐使用Linux系统。
• 依赖库：需要安装以下依赖库：
  压缩库：lz4-devel、snappy-devel、zstd-devel
• 编译工具：gcc、make、cmake
• PostgreSQL开发包：postgresql-devel（与PostgreSQL版本一致）

权限要求：安装用户需具备PostgreSQL安装目录的读写权限，以及系统的管理员权限（如root或sudo权限）。

4.2 具体安装步骤

4.2.1 下载pg_mooncake插件源码

从pg_mooncake官方仓库（如GitHub）下载对应PostgreSQL版本的插件源码，命令如下：

bash # 克隆源码仓库 git clone https://github.com/xxx/pg_mooncake.git # 进入源码目录 cd pg_mooncake # 切换到对应PostgreSQL版本的分支（以PostgreSQL 14为例） git checkout pg14

4.2.2 编译插件

在源码目录中执行以下命令进行编译，需指定PostgreSQL的安装路径（如/usr/pgsql-14）：

bash # 配置编译参数，指定PostgreSQL安装路径 ./configure --prefix=/usr/pgsql-14 --with-pgconfig=/usr/pgsql-14/bin/pg_config # 编译 make # 安装 make install

编译安装完成后，插件文件（mooncake.so）会被安装到PostgreSQL的插件目录（如/usr/pgsql-14/lib）中，同时相关的SQL脚本会被安装到share/extension目录中。

4.2.3 配置PostgreSQL

修改PostgreSQL的配置文件postgresql.conf，添加以下配置项以加载pg_mooncake插件：

ini # 加载pg_mooncake插件 shared_preload_libraries = 'mooncake' # 如果已有其他插件，用逗号分隔 # 可选配置：设置默认压缩算法（默认lz4） mooncake.default_compression = 'lz4' # 可选配置：设置列数据块大小（默认64MB，单位KB） mooncake.segment_size = 65536

4.2.4 重启PostgreSQL服务

配置完成后，重启PostgreSQL服务使配置生效，命令如下：

bash # CentOS系统 systemctl restart postgresql-14 # Ubuntu系统 service postgresql restart

4.2.5 验证安装

登录PostgreSQL数据库，执行以下命令验证插件是否安装成功：

sql # 登录数据库 psql -U postgres -d postgres # 查看已安装的插件 SELECT * FROM pg_extension WHERE extname = 'mooncake'; # 查看表访问方法 SELECT * FROM pg_am WHERE amname = 'mooncake_column';

如果查询结果中存在对应的插件和表访问方法信息，则说明插件安装成功。

5. pg_mooncake插件用法

5.1 创建列存表

创建列存表时，需通过USING子句指定表访问方法为“mooncake_column”，同时可通过WITH子句指定压缩算法、数据块大小等参数。

5.1.1 基本语法

sql CREATE TABLE <表名> ( <列名1> <数据类型1>, <列名2> <数据类型2>, ... ) USING mooncake_column [WITH ( compression = '<压缩算法>', -- 可选，如lz4、snappy、zstd segment_size = <数据块大小> -- 可选，单位KB )];

5.1.2 示例

sql -- 创建使用ZSTD压缩的列存表 CREATE TABLE sales_data ( sale_id INT PRIMARY KEY, product_id INT, sale_date DATE, sale_amount NUMERIC(10,2), sale_region VARCHAR(50) ) USING mooncake_column WITH (compression = 'zstd', segment_size = 65536);

5.2 列存表的基本操作

pg_mooncake支持列存表的INSERT、UPDATE、DELETE、SELECT等基本SQL操作，语法与行存表完全一致。

5.2.1 插入数据

sql -- 单条插入 INSERT INTO sales_data (sale_id, product_id, sale_date, sale_amount, sale_region) VALUES (1, 101, '2025-01-01', 199.99, '华北'); -- 批量插入 INSERT INTO sales_data (sale_id, product_id, sale_date, sale_amount, sale_region) VALUES (2, 102, '2025-01-01', 299.99, '华东'), (3, 101, '2025-01-02', 199.99, '华南'), (4, 103, '2025-01-02', 399.99, '华北');

5.2.2 查询数据

sql -- 简单查询 SELECT * FROM sales_data WHERE sale_region = '华北'; -- 聚合查询（列存表优势场景） SELECT sale_date, sale_region, SUM(sale_amount) AS total_sales FROM sales_data WHERE sale_date BETWEEN '2025-01-01' AND '2025-01-31' GROUP BY sale_date, sale_region ORDER BY total_sales DESC;

5.2.3 更新数据

sql -- 更新单条数据 UPDATE sales_data SET sale_amount = 249.99 WHERE sale_id = 1; -- 批量更新 UPDATE sales_data SET sale_amount = sale_amount * 1.1 WHERE sale_region = '华东';

5.2.4 删除数据

sql -- 删除单条数据 DELETE FROM sales_data WHERE sale_id = 4; -- 批量删除 DELETE FROM sales_data WHERE sale_date < '2025-01-01';

5.3 为列存表创建索引

pg_mooncake支持为列存表创建索引，语法与行存表一致，索引会基于列存数据的特性进行优化，提升查询效率。

sql -- 为product_id列创建B+树索引 CREATE INDEX idx_sales_product ON sales_data (product_id); -- 为sale_region列创建GIN索引（适合字符串模糊查询） CREATE INDEX idx_sales_region ON sales_data USING gin (sale_region gin_trgm_ops);

5.4 列存表与行存表的关联查询

pg_mooncake支持列存表与行存表之间的关联查询，用户可根据业务需求灵活组合查询。

sql -- 假设存在行存表product（产品信息表） CREATE TABLE product ( product_id INT PRIMARY KEY, product_name VARCHAR(100), product_price NUMERIC(10,2) ); -- 插入产品数据 INSERT INTO product VALUES (101, '手机', 1999.99), (102, '电脑', 4999.99), (103, '平板', 2999.99); -- 列存表与行存表关联查询 SELECT sd.sale_date, p.product_name, sd.sale_region, sd.sale_amount, (sd.sale_amount / p.product_price) AS sale_quantity FROM sales_data sd JOIN product p ON sd.product_id = p.product_id WHERE sd.sale_date BETWEEN '2025-01-01' AND '2025-01-31' ORDER BY sd.sale_date;

5.5 列存表的维护操作

5.5.1 优化列存表

由于频繁的更新和删除操作可能导致列存表产生碎片数据，可通过VACUUM命令优化列存表，回收碎片空间，提升查询效率：

sql -- 优化列存表 VACUUM sales_data;

5.5.2 查看列存表信息

通过pg_mooncake提供的系统视图查看列存表的详细信息，如数据块数量、压缩比等：

sql -- 查看列存表的基本信息 SELECT * FROM pg_mooncake_tables WHERE relname = 'sales_data'; -- 查看列存表各列的信息 SELECT * FROM pg_mooncake_columns WHERE relname = 'sales_data';

6. 总结与注意事项

6.1 总结

pg_mooncake插件通过扩展PostgreSQL的表访问方法接口，构建了高效的列存储引擎，实现了PostgreSQL的列存兼容。其核心优势在于高效的列存储能力、与PostgreSQL原生功能的高度兼容、灵活的压缩策略以及行存与列存的协同工作能力，能够有效提升OLAP场景下的查询性能，同时兼顾OLTP场景的事务处理需求。

6.2 注意事项

• 场景选择：列存表适合OLAP场景（如报表分析、数据挖掘），不适合OLTP场景（如高频次的单条增删改操作），因为列存表的单条数据操作效率低于行存表。
• 压缩算法选择：根据业务需求选择合适的压缩算法，平衡压缩比和查询速度。对于高频查询场景，推荐使用LZ4或Snappy；对于存储密集型场景，推荐使用ZSTD。
• 数据批量插入：列存表的插入效率在批量插入时表现更优，建议将多条插入操作合并为批量插入，减少IO开销。
• 版本兼容性：确保pg_mooncake插件的版本与PostgreSQL的版本匹配，避免因版本不兼容导致的功能异常。
• 维护频率：对于频繁更新和删除的列存表，建议定期执行VACUUM命令，优化数据存储结构，提升查询性能。

|（注：文档部分内容可能由 AI 生成)