数据

在本书的第二部分中，你学习了关系型数据仓库（RDW）和数据湖，这两个是数据管理领域的关键组成部分。现在，让我们来考虑现代商业的繁荣世界。每天，组织都必须筛选大量数据以获得见解、做出决策并推动增长。想象

大数据在2010年代初开始以前所未有的规模出现，这是由于输出半结构化和非结构化数据的来源增加，例如传感器、视频和社交媒体。半结构化和非结构化数据蕴含着巨大的价值——想想多年来客户电子邮件中蕴含的见解！

到了21世纪中期，我已经使用关系型数据库多年了，但我从未接触过关系型数据仓库。我当时在一家公司担任数据库管理员（DBA），该公司使用会计软件包管理其财务交易。该软件包的报告功能有限且运行缓慢，因此公司

在设计和构建正确的数据架构方面投入时间绝对至关重要。我在职业生涯早期就是这样吃了亏。当时我兴奋地开始构建我的解决方案，却忽略了关于架构设计和使用哪些产品的重要决策。项目进行到三个月时，我意识到架构无法

在2020年代，构建数据架构的公司数量激增。这种增长不太可能很快放缓，主要是因为现在比以往任何时候都有更多的数据来源：从社交媒体、物联网（IoT）设备、自制应用程序到第三方软件等等。根据2023年BC

dbt的主要目的是通过简单地编写SQL语句，帮助您以轻松且集成的方式转换数据平台的数据。当我们将dbt纳入ELT工作流时，它与转换阶段的活动相匹配，为您提供额外的组件，如版本控制、文档、测试或自动部署

在庞大的数据和分析领域中，选择正确的工具和技术以高效地处理和操作数据至关重要。在经受时间考验并仍然处于前沿的工具之一是结构化查询语言（SQL）。它提供了一种强大而灵活的处理数据的方法，使其成为任何分析

在当今数据驱动的世界中，组织越来越依赖数据分析来获得有价值的见解并做出明智的决策。数据建模在这一过程中发挥着至关重要的作用，为构建和组织数据提供了坚实的基础，以支持有效的分析。此外，理解数据建模和规范

分析学的历史发展包括一系列重要的里程碑和技术，这些里程碑和技术塑造了今天的领域。它始于20世纪80年代数据仓库的出现，为组织和分析业务数据创造了基础框架。计算机科学家比尔·因蒙（Bill Inmon）

到目前为止，在本书中，我们已经讨论了如何利用公共云的能力规划、设计和实施数据平台。然而，有许多情况下，单一的公共云是不够的，因为根据数据用例的特性，数据可能在其他位置产生、处理或存储，这可能是在本地、

迄今为止的旅程已经涉及了很多领域，将数据存储在数据湖仓库中是数据架构的新范式。第一章介绍了大数据的趋势，并讨论了需要一种新范式的原因。第二章概述了数据湖仓库架构，并讨论了数据湖仓库的七个层次。第三章侧

在上一章中，我们概述了数据湖仓库的架构组件。那一章从鸟瞰的角度介绍了七个层次，并详细描述了这些层次。本章将涵盖数据湖仓库的前两个层次的架构模式： 数据摄取层 数据处理层 这两个层次需要一起讨论，因为它

精心设计的架构是任何强大信息技术（IT）系统的基石，数据湖仓也不例外。上一章阐明了现代数据分析平台的需求。该章还讨论了数据湖仓的演变。本章将专注于数据湖仓的关键要素。 该章将首先描述数据湖仓的系统背景

数据分析是一个不断变化的领域。稍微了解一下历史将帮助你欣赏到这一领域取得的进展，以及数据架构模式如何演进以满足不断变化的分析需求。 首先，让我们从一些定义开始： 什么是分析？分析被定义为将数据转化为洞

在安装和运行Trino后，你首先学到了关于Trino中一流SQL支持的核心特性，可以回到“SQL with Trino”中再次查看该内容，如果你需要一个概览或提醒。 在第6章有关连接器的内容中，你了解

现在您已经了解连接器从第6章提供给Trino的功能以及如何配置它们。让我们将这些知识扩展到一些更复杂的使用场景和连接器。这些通常是需要足够智能的连接器，以将底层数据源的存储模式和思想转换为 SQL 和

在第2章中从tar.gz存档中安装Trino，并在第4章中对Trino架构有了新的了解后，现在您准备好更深入地了解安装Trino集群的详细信息。然后，您可以运用这些知识，努力实现一个带有协调器和多个工

在本章中，您将了解为什么行业趋势不可阻挡地从批处理转向流处理。我们将讨论不同的流处理架构以及如何在它们之间进行选择。我们还将深入探讨其中两种架构——微批处理和流处理管道，并讨论如何在这两种架构中支持实

正如您现在所了解的，组织在设计其数据平台时有两种主要方法：遵循数据湖或数据仓库（DWH）范例。这两种方法都有其利弊，但问题是：是否可能使这两种技术共存，实现湖仓一体的架构？在本章中，我们将探讨这个主题

第3章中，您了解到在云数据平台的核心组件中选择数据湖还是数据仓库取决于您的组织是以工程/科学为先（选择数据湖）还是以分析为先（选择数据仓库）。在第5章中，我们专注于数据湖作为数据平台设计的中心元素的概