BigData共享

在写这篇文章之前，Java 25正式发布，其中 JEP-508 Vector API 迎来了第10次孵化，旨在提供一种向量计算的接口，从而获得比等效标量计算更高的性能。传统...

Flink 自1.1版本起通过 FLIP-49 Unified Memory Configuration for TaskExecutors 和 FLIP-116 Unif...

数据是信息的载体，是信息化、数字化、数智化的基础，也是是 AI 模型学习和训练的基础素材。而 AI 的核心是让机器能够像人一样思考、学习、决策和解决问题，其“底层养料”仍然...

前言 在上一篇《主键表之合并引擎merge-engine》中的结尾，当 'merge-engine' = 'first-row'，开启流读的时候，会抛一下错误，提示要使用 ...

前言 在《Paimon系列：IDEA环境读写Paimon表》一文中，详细介绍了如何创建和使用追加表与主键表，其中主键表是核心表类型，通过主键保证数据唯一性，支持高效的插入、...

q前言 当我们在讨论数据湖表格式(Table Format)，我们在讨论什么？没错，我们在讨论数据湖表格式- -！。言归正传，数据湖表格式的出现是为了解决什么问题呢？是为了...

本文基于 Apache Flink 1.16 和 Apache Paimon 1.0.1，详细介绍如何配置 Paimon 环境、创建和使用追加表（Append-Only T...

题外话       在写《StarRocks 查询探秘》系列文章，有同学疑惑是否有必要研究底层代码？在我看来是有必要的，第一，深入理解一门技术，理解其原理和底层代码，对各种...

Optimizer 优化器是查询引擎的“大脑”，通过规则重写（RBO）和基于成本的优化（CBO），从众多执行计划中挑选最优方案，交给执行引擎。本文基于 StarRocks-...

用户提交的 SQL 查询文本在 FE 需要经过一系列处理，最终生成一个分布式执行计划分发给各个 BE 进行计算。如下图所示，经过这么几个核心的处理流程: Parser 解析...

问题背景在 StarRocks 中，通过 ETL 处理后的结果数据需导出到 HDFS，使用 INSERT INTO FILES 语句实现。导出过程中遇到以下问题： 导出sq...

问题背景 为了加速数据即席查询，需要将离线 Hive 表数据通过 ETL 写入 StarRocks 内表，采用 INSERT INTO 按天分区导入数据。Hive 表各分区...

Apache Paimon 是一种高性能的流批一体数据湖存储引擎，广泛用于实时和离线数据处理场景。它通常与HDFS（Hadoop Distributed File Syst...

逻辑分片 tablet 和 副本 Tablet 是表的逻辑分片。一张表可以有多个 Tablet，每个 Tablet 有 replication_num 个副本， 默认3个 ...

在StarRocks中，用户提交的SQL查询文本在FE需要经过一系列处理，最终生成分布式执行计划并分发到各个Backend（BE）节点进行计算。核心流程包括以下五个步骤： ...

使用StarRocks用于数据湖，实时或离线数仓表查询是一个常见的需求。而大部分湖仓（如Paimon、Iceberg、Hive 等）是Java生态，StarRocks 通过...

StarRocks元数据管理主要由 FE 节点负责，元数据内容包含Catalog、数据库、表、物化视图、节点、心跳、用户权限等信息，元数据的核心特点如下： 内存存储：元数据...

在 StarRocks 中，SQL 查询的生命周期分为三个阶段：查询解析（Parsing）、查询规划（Planning）和查询执行（Execution）。查询计划由 Fro...

在《极致性能背后的黑科技？这个世上没有“银弹”！（一）》中，我们从“越多的并发处理，越快的速度”这一视角，探讨了通过MPP架构，pipeline引擎，向量化执行等提升查询性...

上一篇文章 极致性能背后的黑科技？这个世上没有“银弹”！(一), 本质讲的就是一件事，"越多的并发处理，越快的速度"。那么怎么尽可能的提高并发呢？通过机器节点的横向扩展，单...