关于数据仓库的分层，似乎大家都有一个共同的认识。但涉及到每一层该如何去建模，可能每个人都有自己的理解。数据建模，毫无疑问是数仓建设的重中之重，然后，在实际的开发过程中，会把大量的时间都投入到了需求开发，往往会忽略数据建模(尤其是DWS层的建模)，长此以往，数据模型变的越来越杂乱…

可变数据的处理一直以来都是大数据系统，尤其是实时系统的一大难点。在调研多种方案后，我们选择了 CDC to Hudi 的数据摄入方案，目前在生产环境可实现分钟级的数据实时性。

数据仓库是一个集成的（Integrated），面向主题的（Subject-Oriented），随时间变化的（Time-Variant），不可修改的（Nonvolatile）数据集合，用于支持管理决策。这是数据仓库之父 Bill Inmon 在 1990 年提出的数据仓库概念。该…

日前，由又拍云举办的大数据与 AI 技术实践｜Open Talk 杭州站沙龙在杭州西溪科创园顺利举办。本次活动邀请了有赞、个推、方得智能、又拍云等公司核心技术开发者，现场分享各自领域的大数据技术经验和心得。以下内容整理自又拍云资深开发工程师张召现场分享： 张召，资深开发工程师，…

今天想跟大家一起入门一下kylin（麒麟）。 由于工作需要，前段时间对kylin简单入了个门，现在来写写笔记（我的文字或许能帮助到你入门kylin，至少看完这篇应该能知道kylin是干什么的）。 从官方我们可以看到对kylin的介绍：Apache Kylin™是一个开源的、分布…

Flink作为一个非常优秀的大数据实时计算框架，在很多从事大数据开发的公司都是必备的技能，接下来我将通过Flink以批处理和流处理这两种方式来实现入门案例WordCount一、开发环境准备scala-

本文主要介绍顺丰在数据仓库的数据实时化、数据库 CDC、Hudi on Flink 上的实践应用及产品化经验。文章主要分为以下几部分： 先来看一下顺丰大数据业务的全景图。 大数据平台，中间的基础部分是大数据平台，这块是顺丰结合开源组件自行搭建的。与之相关的是大数据分析与人工智能…

2020年，最后几天了，不管这一年过的怎么样，也都过来了，来年还是得继续努力呀。大数据学习指南给大家整理了一份年度总结系列文章，今天分享的是 Flink 学习路线。 以下资料来源都有标注，基本都属于一手资料，在信息碎片横行的时代，坚持独立思考、系统学习。预祝大家学习愉快。 20…

公众号(mangodata)里回复 flink 关键字可以获取 flink 的学习资料以及视频。 回顾上一节的「技术架构」图。 整个架构相对来说是比较好理解的。从数据源到数据处理以及最后到数据汇部分。 但是大家的疑惑点可能就集中在三个维表的建设上，包含「主播用户画像维表，观众用…