林木88

If you work in the field of data engineering, data warehousing, or big data analytics,...

TimeLIne Apache HUDI 作为数据湖框架的一种开源实现，提供了事务、高效的更新和删除、高级索引、 流式集成、小文件合并、log文件合并优化和并发支持等多种能...

背景 内存管理介绍 内存管理的目的是合理分配内存，减少内存碎片，及时回收资源，提高内存的使用资源。 可以带着以下问题进行研究： 内存池管理算法是如何实现高效内存分配释放，减...

一、背景 一般随着公司业务蒸蒸日上，精细化运营会越发的重要；现在很火的一个概念叫做“数据驱动业务“，驱动的方式多种，常见的有即席查询，取数分析，报表分析等；一般对于数据分析...

Design choices that make Kafka achieve high throughput and low latency In my previous ...

In the previous post , we looked into the most commonly used cache-aside architecture,...

At the database layer, sharding and replication are widely used approaches to scale ou...

FeatureBase stores integer values in Base-2, Range-Encoded, Bit-sliced Indexes. This p...

一、背景 1.1 场景 presto中使用了基于ASM的airlift.bytecode进行代码生成，一个主要的用途是对从数据源捞上来的数据进行表达式过滤，这是代码生成的主...

1.1 org.apache.flink.streaming.runtime.tasks.StreamTask 入口从 org.apache.flink.streaming...

1. 负载均衡策略 无状态 半状态 全状态 2. 关键点： 公平性 正确性 （请求调度到能正确处理它的后端实例上） 3. 负载均衡策略： 3.1 无状态 轮训 （请求的工作...

Abstract Physical properties are an essential part of the optimization process that al...

Calcite 的优化器主要有两个：HepPlanner 和 VolcanoPlanner。 HepPlanner 是一个启发式的优化器，基于非常简单的思想：即遍历匹配 R...

Query optimization is an expensive process that needs to explore multiple alternative ...

一、数仓是什么 根据维基百科的定义，数仓是用于报告和数据分析的系统，是来自一个或多个不同源的集成数据的中央存储库，它将当前和历史数据存储在一起。 数仓具备以下几大特性： 主...