数据

在本章中，我们将探讨如何使用Unity Catalog中的可安全管理对象有效管理数据存储位置——这些对象允许管理员向用户、组和服务主体授予细粒度的权限。我们将讨论六种类型的可安全管理对象，用于在Uni

在本章中，我们将深入探讨如何使用Unity Catalog实现湖仓中的有效数据治理。我们将介绍如何在现有的Databricks工作区启用Unity Catalog，实现数据目录管理以便进行数据发现，如

在本章中，我们将直接探讨 Delta Live Tables (DLT) 如何使从各种输入源摄取数据变得简单而直接，无论是将文件存储到云存储中，还是连接到外部存储系统，例如关系数据库管理系统 (RDB

在本章中，我们将探讨几种扩展 Delta Live Tables (DLT) 管道的方法，以应对典型生产环境中的处理需求。我们将涵盖调优 DLT 管道的多个方面，从优化 DLT 集群设置，使管道能够迅

本章介绍了几种管理数据管道中数据集质量的技术。我们将介绍 Delta Live Tables（DLT）中的期望，这是一种在将数据合并到下游表之前，对到达的数据强制执行某些数据质量约束的方法。稍后，我们

在本章中，我们将探讨数据行业在过去几十年中的演变。我们还将讨论为什么实时数据处理与企业如何对最新数据信号作出反应有着密切的关系。我们将解释为什么从零开始构建自己的流处理解决方案可能无法持续，并且为什么

本章内容 创建外部阶段，从云存储中获取数据文件 使用目录表查看阶段元数据 准备数据文件以提高加载效率 使用外部表查询外部阶段中的数据 使用物化视图提高查询性能 在本章中，我们将继续扩展在第2章中创建的

本章内容 将文件暂存以便导入 Snowflake 从暂存文件加载数据到暂存表 将数据从暂存表合并到目标表 使用 SQL 转换数据 使用任务自动化数据管道 在本章中，你将学习如何构建你的第一个 Snow

本章内容概述 聚焦 Snowflake 的数据工程功能 探讨 Snowflake 数据工程师的职责 使用 Snowflake 构建数据管道 基于 Snowflake 的数据工程应用 几乎每个行业的组织

我们每天做很多事情，而不需要刻意思考它们。这些机械化的动作或自动化行为基于我们的日常惯例，以及我们随着时间积累信任的信息。我们的惯例可以是简单的，也可以是复杂的，行动通常会分组并分类到不同的逻辑范畴。

考虑到Delta Lake在数据应用中的灵活性和适用性，试图涵盖所有可以使用Delta Lake的场景，就像试图描述纸张的所有潜在用途一样。其种类似乎是无限的，价值也极其巨大。尽管如此，在本章中，我们

保持 Delta Lake 表格高效运行的过程，类似于任何形式的预防性维护——无论是汽车、摩托车，还是其他交通工具（如自行车、电动滑板车、滑轮鞋）。我们不会等到轮胎漏气才开始处理问题，而是会立即采取行

本章的重点不再是如何与 Delta Lake 表交互和使用它们，而是介绍一些高级特性，这些特性将对你非常有用。从本质上讲，这些 Delta Lake 特性更多地与元数据相关。在本章中，我们将首先探讨如

到目前为止，您已经探索了使用 Delta Lake 的各种方法。您已经看到了许多使 Delta Lake 成为更好、更可靠的数据存储格式选择的特性。然而，要对 Delta Lake 表进行性能调优，您

成功的工程项目始于明确的愿景和目标感（我们在做什么，为什么做），并且有一个坚实的设计和架构（我们如何实现这个愿景）。将周密的计划与合适的构建模块（工具、资源和工程能力）结合，能够确保最终结果不仅反映出

现在比以往任何时候，世界都充满了实时数据源。从电子商务、社交网络动态、航班数据到网络安全和物联网设备，数据源的数量和可以访问它们的速度都在增加。一个问题是，尽管某些事件级别的操作是合理的，但我们依赖的

Delta Lake 在 Java 平台上创建，但自从该协议开源后，它已经用多种不同的语言实现，这为在本地应用程序中使用 Delta Lake 提供了新的机会，而无需依赖 Apache Spark。在

在过去的几章中，我们已经从 Spark 生态系统的角度探讨了 Delta Lake。然而，Delta 协议不仅在底层表格式之间提供丰富的互操作性，而且在计算环境内也具备强大的互操作性。这为我们利用单一

本章探讨了使用 Delta Lake 进行数据管理的基本操作。由于 Delta Lake 既作为存储层，也参与数据应用的交互层，因此从持久化存储系统的基础操作开始是非常合理的。你已经知道 Delta

在本章中，我们将向您展示如何设置 Delta Lake，并引导您完成启动第一个独立应用程序的简单步骤。 安装 Delta Lake 有多种方法。如果您刚刚开始，使用单台机器并借助 Delta Lake