BigData共享

前言 在《Paimon系列：IDEA环境读写Paimon表》一文中，详细介绍了如何创建和使用追加表与主键表，其中主键表是核心表类型，通过主键保证数据唯一性，支持高效的插入、更新和删除操作。主键表通过

q前言 当我们在讨论数据湖表格式(Table Format)，我们在讨论什么？没错，我们在讨论数据湖表格式- -！。言归正传，数据湖表格式的出现是为了解决什么问题呢？是为了融合传统数仓的一些特性，用于

本文基于 Apache Flink 1.16 和 Apache Paimon 1.0.1，详细介绍如何配置 Paimon 环境、创建和使用追加表（Append-Only Table）与主键表（Prim

题外话       在写《StarRocks 查询探秘》系列文章，有同学疑惑是否有必要研究底层代码？在我看来是有必要的，第一，深入理解一门技术，理解其原理和底层代码，对各种特性深入理解，知道针对业务场

Optimizer 优化器是查询引擎的“大脑”，通过规则重写（RBO）和基于成本的优化（CBO），从众多执行计划中挑选最优方案，交给执行引擎。本文基于 StarRocks-3.4.0 源码，结合案例深

用户提交的 SQL 查询文本在 FE 需要经过一系列处理，最终生成一个分布式执行计划分发给各个 BE 进行计算。如下图所示，经过这么几个核心的处理流程: Parser 解析，把一条文本 SQL 解析成

问题背景在 StarRocks 中，通过 ETL 处理后的结果数据需导出到 HDFS，使用 INSERT INTO FILES 语句实现。导出过程中遇到以下问题： 导出sql 因为 BE 内存超限导致

问题背景 为了加速数据即席查询，需要将离线 Hive 表数据通过 ETL 写入 StarRocks 内表，采用 INSERT INTO 按天分区导入数据。Hive 表各分区数据量相差不大，但导入耗时在

Apache Paimon 是一种高性能的流批一体数据湖存储引擎，广泛用于实时和离线数据处理场景。它通常与HDFS（Hadoop Distributed File System）集成，作为底层存储系统