数据

在上一章中，您了解了数据可观测性的定义以及数据技术和团队如何拥抱它。在本章中，我将系统地研究数据可观测性，分析它如何融入数据组织，比如数据架构和文化。因为数据文化本身就是一个复杂的系统，所以我将分两个

正如在第1章中介绍的，数据可观测性是与其他领域（如应用程序或分析）相交的（IT）可观测性领域的一部分。在本章中，我们将介绍如何将数据可观测性及其交互添加到系统中，如图2-1所示。 正如在第1章中讨论的

从前，有一个年轻的数据分析师，名叫Alex，他对数据充满了深厚的热情。Alex热爱数据能够帮助企业做出明智的决策，推动增长并取得成功的方式。然而，Alex也意识到误解数据或者对数据的可见性不足可能带来

本章包括以下内容： 使用模板化在运行时渲染变量 PythonOperator与其他操作符的变量模板化对比 为调试目的渲染模板化的变量 在外部系统上执行操作 在前面的章节中，我们简单介绍了DAG和操作符

本章涵盖的内容： 在固定时间间隔内运行DAG 构建动态DAG以逐步处理数据 使用回填加载和重新处理过去的数据集 应用可靠任务的最佳实践 在前一章中，我们探索了Airflow的用户界面，并向您展示了如何

本章涵盖内容： 在您自己的机器上运行Airflow 编写并运行您的第一个工作流 查看Airflow界面的第一个视图 处理Airflow中的任务失败 在前一章中，我们了解了为什么在处理数据及其众多工具时

这一章涵盖了以下内容： 与Airflow之外的系统进行交互的方法 应用于特定外部系统的操作器 在Airflow中实现A到B的操作器 测试与外部系统连接的任务 在之前的章节中，我们专注于编写Airflo

本章内容包括： 展示数据流程如何以任务图的形式在工作流中表示 了解Airflow如何适应工作流管理器的生态系统 判断Airflow是否适合您的需求 人们和企业日益趋向于更加数据驱动，并且正在开发数据流

在第3章中，您配置了一个目录，使用连接器访问Trino中的数据源，具体而言，是TPC-H基准数据，并学习了如何使用SQL查询该数据的一些知识。 目录是使用Trino的重要方面。它们定义了与底层数据源和

恭喜！在前几章中，您已经了解了Trino并学会了如何安装、配置和启动它。现在您可以开始使用它了。 Trino命令行界面 Trino命令行界面（CLI）提供了一个基于终端的交互式shell，用于运行查询

在第一章中，你学习了关于Trino及其可能的用例。现在你已经准备好尝试它了。在本章中，你将学习如何安装Trino，配置数据源并查询数据。 使用Docker容器尝试Trino Trino项目提供了一个D

在前几章节中介绍了Trino，并进行了初步安装和使用，现在我们将讨论Trino的架构。我们将深入探讨相关概念，以便您了解Trino的查询执行模型、查询计划和基于成本的优化。 在本章中，我们首先讨论Tr

所以你听说过Trino，并找到了这本书。或许你只是在浏览这一节，想知道是否应该深入了解。在这个介绍性的章节中，我们将讨论你可能遇到的与数据大规模增长以及其中封存的价值有关的问题。Trino是处理所有数

在前两章中，我介绍了隐私的基础知识以及对于你的业务意味着什么。我们建立了一个将隐私与信任和安全联系起来的心智模型，使隐私不再是一种利他主义的抽象概念，而是成为一项关键的业务目标。 随后，我们确定了数据

第二章：理解数据和隐私 在上一章中，我们开始建立了对隐私和您的业务的高层次理解。在本章中，我们将进一步深入；我们将更直接地将隐私结果与您的业务运营联系起来。更具体地说，在阅读本章之后，您将更好地理解您

第一章：隐私工程：为什么需要它，如何扩展它 在过去几年里，隐私似乎一直是新闻的焦点。有关保护消费者免受伤害的新法律的讨论不断，公司的数据泄露和罚款的报道也时有耳闻。 不论在业务的哪个层级，人们都感到不

第六章：数据的加载和卸载 数据工程师负责管理从各种不同的来源中提取和转换原始数据集，以提供最终用户所需的数据状态，从而获得可行的见解。本章提供了基础知识，任何人都可以使用这些知识来了解如何在Snowf

第四章：探索Snowflake SQL命令、数据类型和函数 正如我们在前几章中所学到的，Snowflake是一个在关系数据库内以优化、压缩、列式格式存储数据的系统。Snowflake的数据终端用户需要

数据堆栈——基础知识 任何数据堆栈的目标是： 帮助公司领导者在正确的时间做出正确的决策。 这也是构建人工智能模型的必要路径，该模型需要在监督案例中进行训练或在非监督案例中进行计算。然后，该模型可以通过