高性能数据仓库StarRocks

从本地文件系统导入数据到StarRocks： 同步导入使用Stream Load， 异步导入使用Broker Load。

StarRocks 提供多种数据导入方案： 包括 Insert、Stream Load、Broker Load、Pipe、Routine Load、Spark Load，生态工具和API

对于全文搜索，StarRocks 根据搜索关键词查询倒排索引，快速定位匹配关键词的数据行。StarRocks支持两类向量索引：倒排文件与乘积量化（IVFPQ）和分层可导航小世界（HNSW）。

StarRocks支持用户手动创建索引，包括 Bitmap 索引和、Bloom filter 索引、N-gram bloom filter索引、全文倒排索引和向量索引

StarRocks 提供两类索引：自动创建索引和手动创建索引。 自动创建索引，也称内置索引，包括前缀索引、Ordinal 索引、ZoneMap 索引。手动创建索引包括 Bitmap 索引和布隆过滤索引

StarRocks支持四种表类型，分别是主键表、明细表、聚合表和更新表。它们分别使用不同的应用场景。设计数据表时究竟选择哪种类型？需要综合考虑业务需求以及读写性能要求。

本文主要讲了StarRocks数据表设计中的数据分布问题：分区和分桶策略。并总结了实战应用的经验。数据的分区分桶直接影响系统性能，因此在设计数据表时需要格外关注。

Catalog是StarRocks的元数据管理组件，主要用于组织数据库对象和连接外部数据源。其核心功能包括维护表、索引、视图等元数据信息，并通过统一接口实现跨数据源查询