数据贴源层 ODS
ODS层用于接收并处理需要存储至数据仓库系统的原始数据,其数据表的结构与原始数据所在的数据系统中的表结构一致,是数据仓库的数据准备区。ODS层对原始数据的操作具体如下:
-
将原始的结构化数据增量或全量同步至数据仓库中。
-
将原始的非结构化数据(例如,日志信息)进行结构化处理,并存储至Hadoop
-
根据实际业务需求,记录原始数据的历史变化或对原始数据进行简单的清晰。
明细数据层 DWD
DWD 层通过企业的业务活动事件构建数据模型。基于具体业务事件的特点,构建最细粒度的明细数据表。 可以结合企业的数据使用特点,将明细数据表的某些重要维度属性字段适当冗余,即宽表化处理。同时, 也可以减少明细数据表及维度表的关联,提高明细表的易用性。
汇总数据层 DWS
DWS 层通过分析的主题对象构建数据模型。基于上层的应用和产品的指标需求,构建公共粒度的汇总指标 事实表。
例如,从 ODS 层中对用户的行为做一个初步的归类汇总,抽象出来一些通用的维度,假设维度为时间、IP、 ID,并根据这些维度统计出相关数据,比如用户每个时间段在不同登录 IP 购买的商品数。则在 DWS 层可 以进一步添加一层轻度的汇总,可以让计算更加的高效。例如在此基础上计算仅 7 天、30 天、90 天的行为会节省很多时间。
公共维度层 DIM
DIM 层使用维度构建数据模型。可基于实际业务,存放逻辑模型的维度表;或存放概念模型的维度定义, 通过定义维度,确定维度主键,添加维度属性,关联不同维度等操作,构建整个企业的一致性数据分析维 表,帮助您降低数据计算口径和算法不统一的风险。
应用数据层 ADS
ADS 层用于存放数据产品个性化的统计指标数据,输出各种报表。例如,某电商企业,在 6 月 9 日至 6 月 19 日,上海地域出售的各大球类商品的数量及排行情况。