数据

你害怕进入的洞穴藏有你寻求的宝藏。 —— 约瑟夫·坎贝尔 在深入探讨流数据处理数据库的部署选项后，本章将稍作停顿，展望实时数据的未来状态，这一状态由本书的核心主题之一塑造：流数据与数据库的加速融合。流

在第七章中，我们介绍了新兴的混合数据库，这些数据库提供了支持实时分析的替代解决方案。这些系统减少了基础设施需求，使数据对分析工作负载更具可及性。由于混合系统融合了传统上分布式的系统，因此有一种假设认为

在本章中，我们将关注范围扩大到包括那些在应对现代实时事件驱动应用日益增长的需求中浮现出的更广泛的混合系统。这些系统虽然不是我们在本书中定义的流数据库，但它们具备连接关系型、分析型和流处理工作负载的特质

如果你对数据库非常熟悉，你可能会认为一致性是理所当然的。你知道查询的结果将与输入数据一致。然而，假如你敢于从数据库的世界跨越到流处理的世界，你是否可以依靠类似的一致性保证，即使在数据迟到和乱序到达的额

在电子表格中，你可以在一个单元格中输入一个公式（例如，另一列中单元格的总和），并且当公式中的任何输入发生变化时，公式的结果会自动重新计算。这正是我们在数据系统层面想要实现的效果：当数据库中的一条记录发

在前几章中，我们只简要提到了物化视图。在真正理解流数据库之前，物化视图将是你需要掌握的最重要的概念。物化视图首次引入是在 1990 年代初期。最初，它们作为某些 OLTP 数据库中的一种功能被开发出来

在第2章中，我们让流处理平台对数据进行了转换并将其放入了汇主题中。预处理后的数据现在驻留在流处理平台的一个主题中。在图3-1中，汇主题和 OLAP 数据存储在分析层中被突出显示。 接下来我们需要做的是

在第1章中，我们介绍了一个将实时数据提供给消费者的简单用例。我们还介绍了连接器，以及它们如何将静态数据转换为动态数据（或事件流），然后将其发布到流处理平台中的主题中。 事件流现在可以被读取，但它们很可

英雄之旅总是从召唤开始。无论以何种方式，指引者必须出现，对你说：“看，你在梦乡。醒来吧。去旅行吧。你还有一部分意识和存在从未被触及。所以你在这里感到安逸？那么，你在那里还不够。”于是，旅程就此开始。

查询优化器在保持原始预期功能的同时，减少查询的成本。此外，查询优化还旨在减少访问的数据量，从而进一步降低成本。Snowflake查询优化器内部发生了很多事情，并不是每一个细节都为广大用户群体所知。我利

随着组织越来越多地采用现代数据湖仓（lakehouse）架构，如 Apache Iceberg lakehouses，他们享受着其灵活性、可扩展性和性能改进带来的诸多好处。然而，这些优势也带来了有关数

各类组织不断寻求创新解决方案，以更高效地管理数据。Apache Iceberg 作为数据湖的一种强大框架，提供了一种高性能的表格式，运作方式类似于关系数据库管理系统 (RDBMS) 表。本章深入探讨如

流数据指的是数据的连续生成和处理，通常来自各种来源。这些来源可以包括日志文件、传感器数据、社交媒体动态和金融交易等。数据以小尺寸（或数据包）的形式发送，以便实时获取见解和反应。流数据的本质是它处于不断

数据工程师负责以高效、可靠和安全的方式收集、存储和处理数据。在将数据投入生产时，他们需要遵循一系列最佳实践，以确保数据的准确性、一致性和可访问性。在本章中，我们将讨论许多用于帮助监控和维护生产环境中的

你已经了解了很多关于员工赋能和成功实施增强分析（AA）所需的组织环境的基础知识。没有高层管理的支持、组织各个部门的分析翻译者提出的创意、推动变革的卓越中心（CoE）以及将创意转化为用例的有效基础设施，

我们将从解析第1章中介绍的增强分析（AA）定义开始，将其拆解为关键组件。接着，我们将深入介绍这个概念，特别是如何赋能分析用户。你将了解AA是什么、它对业务的好处、它的局限性以及如何将其应用于工作流程。

在我们撰写本书的2024年，商业环境的特点是数字技术和实践的日益普及，这通常被称为“业务转型”或“工业转型”。这种转型并不是第一次。迄今为止，世界经历了三次工业转型，每次都由新技术推动：蒸汽动力（大约

我们已经接近本书的结尾，到目前为止，我们讨论了实现湖仓平台的各种组件、设计考虑因素、工具和技术以及最佳实践。在所有这些讨论中，我们探讨了构建湖仓的理想设计方法和优化解决方案。然而，正如我们所知，现实与

湖仓架构中的存储层非常重要，因为它存储了整个平台的数据。为了搜索、探索和发现这些存储的数据，用户需要一个数据目录。本章将重点介绍数据目录和使湖仓平台用户能够搜索和访问数据的整体元数据管理过程。 在本章

在基于 Lakehouse 架构的平台中，存储层在高效持久化各种数据和提升查询性能方面起着重要作用。Lakehouse 存储层由云存储、文件格式和表格式组成。本章将重点介绍这些概念以及实现 Lakeh