炮灰乙

本文整理自 Apache Paimon Committer 闵文俊老师在5月16日 Streaming Lakehouse Meetup · Online 上的分享。...

拉链表是针对数据仓库设计中表存储数据的方式而定义的，顾名思义，所谓拉链，就是记录历史。记录一个事物从开始，一直到当前状态的所有变化的信息。 下面就是一张拉链表，存储的是用户...

背景 故事起源在和一个妹子去逛衣服店的时候，试来试去的难以取舍，最终消耗了我一个小时。虽然这个时间不多， 但这个时间黑神话悟空足矣让我打完虎先锋 回家我就灵光一闪，是不是可...

与传统项目发布不同，货拉拉的大数据离线数仓任务发布主要在大数据离线开发平台项目上进行。然而，目前离线数仓任务发布存在以下问题： 数仓发布流程： 发布流程缺乏严格的控制，导致...

0x00 教程内容0x01 数据准备1. 下载数据2. 上传数据到HDFS3. 0x02 工程实现1. 依赖准备2. 上传一份数据到本地3. 数据处理代码实现4. 0x03...

小红书数据仓库团队将 StarRocks 融入到离线处理流程，替换掉部分 Spark 处理的任务，并优化较为耗时的 Cube 计算，回刷时间减少 90%，回刷成本减少 99...

新东方基于Hologres建设了实时离线一体化数仓，落地报表、画像、圈选等多个场景，为业务提供秒级查询服务的同时，也极大的提升了开发效率，有效的降低了运维成本。...

Spark 引擎因为自身强大的生态和方便的编程接口被广泛应用在数据处理场景下，Spark 提供的 Spark SQL 模块更是为使用 Spark 支撑企业数据仓库提供了一个...