BigData共享

Optimizer 优化器是查询引擎的“大脑”，通过规则重写（RBO）和基于成本的优化（CBO），从众多执行计划中挑选最优方案，交给执行引擎。本文基于 StarRocks-...

用户提交的 SQL 查询文本在 FE 需要经过一系列处理，最终生成一个分布式执行计划分发给各个 BE 进行计算。如下图所示，经过这么几个核心的处理流程: Parser 解析...

问题背景在 StarRocks 中，通过 ETL 处理后的结果数据需导出到 HDFS，使用 INSERT INTO FILES 语句实现。导出过程中遇到以下问题： 导出sq...

问题背景 为了加速数据即席查询，需要将离线 Hive 表数据通过 ETL 写入 StarRocks 内表，采用 INSERT INTO 按天分区导入数据。Hive 表各分区...

Apache Paimon 是一种高性能的流批一体数据湖存储引擎，广泛用于实时和离线数据处理场景。它通常与HDFS（Hadoop Distributed File Syst...

逻辑分片 tablet 和 副本 Tablet 是表的逻辑分片。一张表可以有多个 Tablet，每个 Tablet 有 replication_num 个副本， 默认3个 ...

在StarRocks中，用户提交的SQL查询文本在FE需要经过一系列处理，最终生成分布式执行计划并分发到各个Backend（BE）节点进行计算。核心流程包括以下五个步骤： ...

使用StarRocks用于数据湖，实时或离线数仓表查询是一个常见的需求。而大部分湖仓（如Paimon、Iceberg、Hive 等）是Java生态，StarRocks 通过...

StarRocks元数据管理主要由 FE 节点负责，元数据内容包含Catalog、数据库、表、物化视图、节点、心跳、用户权限等信息，元数据的核心特点如下： 内存存储：元数据...

在 StarRocks 中，SQL 查询的生命周期分为三个阶段：查询解析（Parsing）、查询规划（Planning）和查询执行（Execution）。查询计划由 Fro...

在《极致性能背后的黑科技？这个世上没有“银弹”！（一）》中，我们从“越多的并发处理，越快的速度”这一视角，探讨了通过MPP架构，pipeline引擎，向量化执行等提升查询性...

上一篇文章 极致性能背后的黑科技？这个世上没有“银弹”！(一), 本质讲的就是一件事，"越多的并发处理，越快的速度"。那么怎么尽可能的提高并发呢？通过机器节点的横向扩展，单...

在大数据时代，数据的爆发式增长对分析引擎的性能提出了近乎苛刻的要求。StarRocks**作为一款新一代极速OLAP引擎，以其惊艳的查询速度和强大的扩展能力，在业界掀起了一...

StarRocks 是一种高性能的分布式分析型数据库，广泛应用于实时数据分析场景。Apache Flink 作为流批一体化的计算框架，与 StarRocks 的结合能够高效...

在大数据处理中，企业常面临成本高、系统复杂、维护困难的挑战。通过存算分离、湖仓一体和架构简化，可以显著降低成本、提升效率、简化管理。以下从三个方面详细说明如何实现这些目标。...

在当今数据驱动的时代，企业对数据管理和分析的需求日益增长。传统的数据仓库和数据湖架构在面对大规模、多样化数据时，逐渐暴露出各自的局限性。Lakehouse架构应运而生，旨在...