数据仓库基础理论概览

74 阅读2分钟

开启掘金成长之旅!这是我参与「掘金日新计划 · 12 月更文挑战」的第9天 juejin.cn/post/716729…

数据获取与数据分析区别

1.核心点操作型系统保存数据,DW/BI系统使用数据。

2.操作型系统通常不维护历史数据,只修改数据保持最新状态,诸如订单表的订单状态,而DW/BI系统通常要求保存历史数据,用于一些评估。

数据仓库与商业智能的目标

DW/BI系统

1.必须方便的存取信息,保证数据的简单,快捷

2.必须以一致的形式去展现信息。

3.必须适应变化,简单讲,以业务为准。

4.必须有效控制数据安全,对数据信息的访问。

5.必须为决策提供有力基础、权威、可信度。

维度建模

星型模型与OLAP多维数据库

img

以事实表为中心,延伸多个维度的模型成为星型模式。

在多维数据环境中实现的维度模型通常成为联机分析处理多维数据库,即OLAP

事实表

事实这一术语来自于业务度量,事实表每一行对应一个度量事件,每行中的数据是一个特定级别的细节数据,称为粒度,如销售事实用一行来描述每个卖出的产品,维度建模的原则之一是同一事实表所有度量行必须有相同粒度,就比如同一事实表中不同数据,都必须有相同的粒度字段。

一般事实表会有1,2个主键和多个外键,用于与维度表的主键相关联,事实表的多个主键成为组合键,具有组合键的表称为事实表。

维度表

维度表是不可或缺的部分,用于描述5W2H等相关事件。

数据仓库的好坏直接取决于维度属性的设置,DW/BI分析的直接能力取决于维度属性的质量和深度。维度本身提供数据的入口点,提供所有DW/BI分析的最终标识和分组

img

对维度模式首先需要注意的是其简单性和对称性。

维度模型的简单性也会对性能有所提升。

维度模型非常适合变化,所有的维度在事实表中都存在对应的入口点。