数据

工具准备 操作系统：Mac OS X or Linux JDK版本要求比较高，目前我下载的JDK版本要求最低是21.0.1 Maven，但是Maven版本并不重要，因为编译的时候会通过./mvnw来使

当您深入研究本章内容时，您首要的决定是在开源解决方案和云服务提供商提供的产品之间做出选择。然而，还有更多需要考虑的因素。我将指导您思考您的数据需求规模以及组织的灵活性要求。 除此之外，我们将探讨云服务

我要直言不讳——关于数据网格挑战的这一章是本书最长的章节之一。这并不是因为我认为数据网格是一个坏主意，或者我所讨论的其他架构更好；而是因为有很多关于数据网格的神话、关注点和挑战需要您了解。如果您决定构

数据网格是一种去中心化数据架构，具有四个特定特征。首先，它要求指定领域内的独立团队拥有他们的分析数据。其次，在数据网格中，数据被视为产品，以帮助数据使用者发现、信任并将其用于任何目的。第三，它依赖于自

我已经简要介绍了数据湖仓库作为数据湖和数据仓库概念的融合。数据湖仓库的理念是通过仅使用数据湖来存储所有数据，而不是还有单独的关系型数据仓库来简化事务。为了实现这一点，数据湖需要更多功能来替代关系型数据

在数字化时代，数据已经成为组织的生命线。但是，正如任何经验丰富的数据专业人士所知，仅仅拥有数据是不够的。真正的价值在于如何有效地管理、存储和处理这些数据。这就是为什么本章是一本全面指南，旨在帮助您在复

数据编织架构是现代数据仓库（MDW）架构的演进：一种高级层次，建立在MDW之上，旨在增强数据的可访问性、安全性、可发现性和可用性。想象一下数据编织在整个公司中蔓延，汇集所有数据并将其提供给需要的每个人

在本书的第二部分中，你学习了关系型数据仓库（RDW）和数据湖，这两个是数据管理领域的关键组成部分。现在，让我们来考虑现代商业的繁荣世界。每天，组织都必须筛选大量数据以获得见解、做出决策并推动增长。想象

大数据在2010年代初开始以前所未有的规模出现，这是由于输出半结构化和非结构化数据的来源增加，例如传感器、视频和社交媒体。半结构化和非结构化数据蕴含着巨大的价值——想想多年来客户电子邮件中蕴含的见解！

到了21世纪中期，我已经使用关系型数据库多年了，但我从未接触过关系型数据仓库。我当时在一家公司担任数据库管理员（DBA），该公司使用会计软件包管理其财务交易。该软件包的报告功能有限且运行缓慢，因此公司

在设计和构建正确的数据架构方面投入时间绝对至关重要。我在职业生涯早期就是这样吃了亏。当时我兴奋地开始构建我的解决方案，却忽略了关于架构设计和使用哪些产品的重要决策。项目进行到三个月时，我意识到架构无法

在2020年代，构建数据架构的公司数量激增。这种增长不太可能很快放缓，主要是因为现在比以往任何时候都有更多的数据来源：从社交媒体、物联网（IoT）设备、自制应用程序到第三方软件等等。根据2023年BC

dbt的主要目的是通过简单地编写SQL语句，帮助您以轻松且集成的方式转换数据平台的数据。当我们将dbt纳入ELT工作流时，它与转换阶段的活动相匹配，为您提供额外的组件，如版本控制、文档、测试或自动部署

在庞大的数据和分析领域中，选择正确的工具和技术以高效地处理和操作数据至关重要。在经受时间考验并仍然处于前沿的工具之一是结构化查询语言（SQL）。它提供了一种强大而灵活的处理数据的方法，使其成为任何分析

在当今数据驱动的世界中，组织越来越依赖数据分析来获得有价值的见解并做出明智的决策。数据建模在这一过程中发挥着至关重要的作用，为构建和组织数据提供了坚实的基础，以支持有效的分析。此外，理解数据建模和规范

分析学的历史发展包括一系列重要的里程碑和技术，这些里程碑和技术塑造了今天的领域。它始于20世纪80年代数据仓库的出现，为组织和分析业务数据创造了基础框架。计算机科学家比尔·因蒙（Bill Inmon）

到目前为止，在本书中，我们已经讨论了如何利用公共云的能力规划、设计和实施数据平台。然而，有许多情况下，单一的公共云是不够的，因为根据数据用例的特性，数据可能在其他位置产生、处理或存储，这可能是在本地、

迄今为止的旅程已经涉及了很多领域，将数据存储在数据湖仓库中是数据架构的新范式。第一章介绍了大数据的趋势，并讨论了需要一种新范式的原因。第二章概述了数据湖仓库架构，并讨论了数据湖仓库的七个层次。第三章侧

在上一章中，我们概述了数据湖仓库的架构组件。那一章从鸟瞰的角度介绍了七个层次，并详细描述了这些层次。本章将涵盖数据湖仓库的前两个层次的架构模式： 数据摄取层 数据处理层 这两个层次需要一起讨论，因为它

精心设计的架构是任何强大信息技术（IT）系统的基石，数据湖仓也不例外。上一章阐明了现代数据分析平台的需求。该章还讨论了数据湖仓的演变。本章将专注于数据湖仓的关键要素。 该章将首先描述数据湖仓的系统背景