数据仓库 - 掘金

这是我参与11月更文挑战的第4天，活动详情查看：2021最后一次更文挑战

数据仓库（Data Warehourse，简称 DW），是一个用于存储、分析、报告的数据系统。

数据仓库的目的是构建面向分析的集成化的数据环境，分析结果为企业提供决策支持（Decision Support）

最稳妥的方法就是基于业务数据开展数据分析，基于分析的结果给决策提供支持。这就是所谓的数据驱动决策的制定。在哪里进行数据分析呢？数据库可以吗？

可以但是没必要。

OLTP 系统的核心是面向业务，支持业务，支持事务。所有的业务操作可以分为读、写两种操作，一般来说读的压力明显大于写的压力。如果在 OLTP 环境直接开展各种分析，有以下问题需要考虑：
- 数据分析也是对数据进行读取操作，会让读取压力倍增；
- OLTP 仅存储数周或数月的数据；
- 数据发散在不同系统不同表中，字段类型属性不统一；

因此，我们需要构建一个集成统一的数据分析平台，该平台面向数据分析，并非代替数据库。

数据库中，最大特点是面向应用进行数据的组织，各个业务系统可能是相互分离
而数据仓库则是面向主题的。主题是一个抽象的概念，是较高层次上企业信息系统中的数据综合、归类并进行分析利用的抽象。在逻辑意义上，它是对应企业中某一宏观分析领域所涉及的分析对象。
操作型处理（传统数据）对数据的划分并不适用于决策分析。而基于主题组织的数据则不同，它们被划分为各自独立的领域，每个领域有各自的逻辑内涵但互不交叉，在抽象层次上对数据进行完整、一致和准确的描述。

确定主题之后，就需要获取和主题相关的数据。当下企业中主题相关的数据通常会分布在多个操作型系统中，彼此独立。
因此在数据进入数据仓库之前，必然要经过统一和综合，对数据进行抽取、清理、转换和汇总，这一步是数据仓库建设中最关键、最复杂的一步，所要完成的工作有：
- 要统一源数据中所有矛盾之处，如字段的同名异义、单位不统一、字长不统一等；
- 进行数据综合和计算，数据仓库中的数据综合工作可以在从原有数据库抽取数据时生成，但许多是在数据仓库内部生成的，即进入数据仓库之后进行综合生成的。

例如下面的例子，将数据纳入之前进行数据清洗：

分层好处：

分层能对数据有一个更加清晰的掌握，主要有下面几个原因：

数据仓库从各数据源获取数据及在数据仓库内的数据转换和流动都可以认为是 ETL（抽取、转化、装载）的过程

但是在实际操作中讲数据加载打仓库却产生了两种不同做法：ETL 和 ELT。

ETL ：首先从数据源提取数据，数据保存在临时暂存数据库中（ODS），然后执行转换操作，讲数据结构化并转换为适合目标数据仓库系统的形式，然后将结构化数据加载到仓库中，以备分析。

使用 ELT，数据在数据池中提取后立即加载，没有专门的临时数据库（ODS），这意味着数据会立即加载到单一的集中存储库中，数据在数据仓库系统中进行转换。