随着云时代的到来，越来越多企业开始在公有云、私有云乃至 K8s 容器平台构建实时数据平台。云计算基础设施的革新，促使着数据仓库朝着云原生的方向发展。而用户日益复杂的业务负载和降本增效的需求，对于系统资

在直播、电商等业务场景中存在着大量实时数据，这些数据对业务发展至关重要。而在处理实时数据时，我们也遇到了诸多挑战，比如实时数据开发门槛高、运维成本高以及资源浪费等。 此外，实时

本文首发于个人博客 Apache Calcite 快速入门指南 ，转载请注明原始链接。 Calcit

canal [kə'næl]，译意为水道/管道/沟渠，主要用途是基于 MySQL 数据库增量日志解析，提供增量数据 订阅 和 消费。应该是阿里云DTS（Data Transfer Service）的开源版本，开源地址： https://github.com/alibaba/ca…

在很多业务情况下，我们都会在系统中加入redis缓存做查询优化。 如果数据库数据发生更新，这时候就需要在业务代码中写一段同步更新redis的代码。 这种数据同步的代码跟业务代码糅合在一起会不太优雅，能不能把这些数据同步的代码抽出来形成一个独立的模块呢，答案是可以的。 canal…

跳数索引 影响ClickHouse查询性能的因素很多。在大多数场景中，关键因素是ClickHouse在计算查询WHERE子句条件时是否可以使用主键。因此，选择适用于最常见查询模式的主键对于表的设计至关

前言 ClickHouse中除了主键索引之外还有一种叫做跳数索引（Skipping index）的索引类型

如何设计全链路99.99%高可用架构。 接下来，我们将会继续通过几篇文章，对这套系统的可扩展架构、数据一致性保障等方面进行探讨。 如果大家看过之前的一系列文章，应该依稀还记得上一篇文章最后，整个系统架构大致演进到了如下图的一个状态。 如果没看过之前的系列文章，上来猛一看下面这个…

在数据仓库建模中，未经任何加工处理的原始业务层数据，我们称之为ODS(Operational Data Store)数据。在互联网企业中，常见的ODS数据有业务日志数据（Log）和业务DB数据（DB）两类。对于业务DB数据来说，从MySQL等关系型数据库的业务数据进行采集，然后…