首先介绍一下爱奇艺公司整体的业务情况以及数据仓库 1.0 的设计和出现的问题，针对数仓 1.0 的缺陷，是如何演进到数仓 2.0 架构以及数仓 2.0 需要解决的问题和需要达成的目标。 这张图非常清晰的展示了爱奇艺的产品矩阵，早期爱奇艺是视频业务，后来从视频业务周边衍生出来一些…

简介： 顺丰基于 Flink 建设实时数仓的思路，引入 Hudi On Flink 加速数仓宽表，以及实时数仓平台化建设的实践。 一、建设背景 顺丰是国内领先的快递物流综合服务商，经过多年的发展，顺丰

本文主要介绍顺丰在数据仓库的数据实时化、数据库 CDC、Hudi on Flink 上的实践应用及产品化经验。文章主要分为以下几部分： 先来看一下顺丰大数据业务的全景图。 大数据平台，中间的基础部分是大数据平台，这块是顺丰结合开源组件自行搭建的。与之相关的是大数据分析与人工智能…

Flink 和 ClickHouse 分别是实时计算和（近实时）OLAP 领域的翘楚，也是近些年非常火爆的开源框架，很多大厂都在将两者结合使用来构建各种用途的实时平台，效果很好。关于两者的优点就不再赘述，本文来简单介绍笔者团队在点击流实时数仓方面的一点实践经验。 所谓点击流（c…

近些年，企业对数据服务实时化服务的需求日益增多。本文整理了常见实时数据组件的性能特点和适用场景，介绍了美团如何通过 Flink 引擎构建实时数据仓库，从而提供高效、稳健的实时数据服务。此前我们美团技术博客发布过一篇文章《流计算框架 Flink 与 Storm 的性能对比》，对 …

目前公司离线数仓现状，数仓部门每日凌晨后处理昨天的线上业务数据，因此第二天业务人员才看到的报表，数据是T-1的，因此数据是具有滞后性，尤其在互联网金融公司，有业务人员需要做信贷的风险管控，及时的调整一些风控规则和策略，但是不能立刻看到效果，而是需要等到第二天才可以看到调整的效果…

本文将个推Flink SQL使用和调优经验进行了总结，旨在帮助大家在基于Flink SQL进行实时计算作业时少走弯路、提升效率。