风沙渡9527

一、背景 calcite是处理sql一个标准框架，使用非常广泛；calcite在构建逻辑计划后，有两种优化RBO（规则优化，常量折叠、算子下推等）和CBO（代价优化）；基于...

一、背景 mysql是后端开发最常用的数据库，本篇记录常用的mysql后端知识，意在更好在后端工程中使用mysql，并不在于探究mysql的实现；为达成熟练使用的目标，我们...

一篇带你读懂字节跳动数据血缘架构。本文将从数据血缘应用背景、发展概况、架构演讲以及未来展望四部分，为大家介绍数据血缘在字节跳动进化史。...

一、倒排索引 参考文章，索引机制如下： Luncene在对文档建立索引时，给词典的元素排序，在搜索的时候使用二分查找，快速的找到对应的元素；ES期望将词典放在内存，直接从内...

相比于大多数人熟悉的MySQL数据库的索引，Elasticsearch的索引机制是完全不同于MySQL的B+Tree结构。索引会被压缩放入内存用于加速搜索过程，这一点在效率...

一、背景 位图通常是查询加速过程中的常用的工具，一指没有仔细的研究过位图；现学习一下位图和位图的改进版RoaringBitMap；学习参考文章； 二、BitMap BitM...

本文已参与「新人创作礼」活动，一起开启掘金创作之路。 前言 相信大家肯定也都遇到过，在很多的面试中，尤其是5年以下java工作经验的面试中，经常会看到如下的面试题： 在2....

前言 之前的文章中讲到了位图 BitMap（下文简称BM），大家应该被它的性能深深折服。在它适用的场景，无论是查询的时间复杂度O(1),还是存储的空间复杂度(理想情况下是i...

一、calcite介绍 calcite是一个查询引擎，提供标准的SQL语言，查询优化，连接数据源的能力；calcite的设计目标是为不同计算平台和数据源提供统一的查询引擎；...

一、背景 查询优化器在查询中无疑是重要的部分，相同的查询目的，一个好的查询计划和坏的查询计划，查询时长、消耗系统资源可以相差几十倍以上；查询使用的时间资源和机器资源都是金钱...

在字节跳动内部，Presto 主要支撑了 Ad-hoc 查询、BI 可视化分析、近实时查询分析等场景，日查询量接近 100 万条。...

工作了好几年了，一直没写过技术类的博客，最近才开始尝试写一些技术类的博客。通过写博客的这段时间发现，写博客能够帮助我们快速成长已经提高我们学习的积极性，本文将和大家说说程序...

一、背景 一般随着公司业务蒸蒸日上，精细化运营会越发的重要；现在很火的一个概念叫做“数据驱动业务“，驱动的方式多种，常见的有即席查询，取数分析，报表分析等；一般对于数据分析...

一、背景 一般随着公司业务发展，数据规模越来越庞大，数据管理和服务的需求也会逐渐迫切；数据服务平台具有将数据服务化的能力，减少数据服务发布的代价，加快迭代数据获取，数据消费...

数据应用系统，系统设计，指标，维度，数据模型，指标维度体系，查询生成，模型拆分，同环比，占比，分析函数...

上接：Presto - Coordinator 查询流程-4，上章降到逻辑计划的构建，生成了PlanNode root，逻辑计划，本章将继续讲解逻辑计划的优化； 1. 逻辑...

1.总体介绍 上接：Presto - Coordinator 查询流程-3，上章节讲解了Ast重写、校验过程，在校验完毕之后会生成一个Analysis对象，本章将会讲解在a...