数据

到目前为止，您已经探索了使用 Delta Lake 的各种方法。您已经看到了许多使 Delta Lake 成为更好、更可靠的数据存储格式选择的特性。然而，要对 Delta Lake 表进行性能调优，您

成功的工程项目始于明确的愿景和目标感（我们在做什么，为什么做），并且有一个坚实的设计和架构（我们如何实现这个愿景）。将周密的计划与合适的构建模块（工具、资源和工程能力）结合，能够确保最终结果不仅反映出

现在比以往任何时候，世界都充满了实时数据源。从电子商务、社交网络动态、航班数据到网络安全和物联网设备，数据源的数量和可以访问它们的速度都在增加。一个问题是，尽管某些事件级别的操作是合理的，但我们依赖的

Delta Lake 在 Java 平台上创建，但自从该协议开源后，它已经用多种不同的语言实现，这为在本地应用程序中使用 Delta Lake 提供了新的机会，而无需依赖 Apache Spark。在

在过去的几章中，我们已经从 Spark 生态系统的角度探讨了 Delta Lake。然而，Delta 协议不仅在底层表格式之间提供丰富的互操作性，而且在计算环境内也具备强大的互操作性。这为我们利用单一

本章探讨了使用 Delta Lake 进行数据管理的基本操作。由于 Delta Lake 既作为存储层，也参与数据应用的交互层，因此从持久化存储系统的基础操作开始是非常合理的。你已经知道 Delta

在本章中，我们将向您展示如何设置 Delta Lake，并引导您完成启动第一个独立应用程序的简单步骤。 安装 Delta Lake 有多种方法。如果您刚刚开始，使用单台机器并借助 Delta Lake

本章介绍了Delta Lake的起源及其最初设计旨在解决PB级系统中的数据完整性问题。如果你对Delta Lake的历史已有了解，并且想深入了解Delta Lake是什么，它的架构以及Delta事务协

本章内容： ScyllaDB 用于存储字符串、数字、日期、ID 等的基本数据类型 ScyllaDB 用于聚合数据的集合类型 何时使用这些数据类型，以适应你的设计需求 在上一章中，你学习了查询优先设计（

本章内容： 执行基于查询的设计 ScyllaDB 如何在集群中分配数据 实施基于查询的设计，为示例应用程序构建架构 存储数据是运行数据库的简单部分。ScyllaDB 的设计目标就是存储数据，通常来说，

本章内容： 使用 Docker 本地运行 ScyllaDB 使用 nodetool 查看集群的操作详情 创建表并进行数据读取和写入 实验故障模拟并调整一致性级别 用户使用数据库来存储数据。无论是博客帖

本章内容： ScyllaDB及其定义 ScyllaDB与其他数据库的比较 ScyllaDB如何利用分布式系统的优势 ScyllaDB是一款分布式NoSQL数据库，旨在作为Apache Cassandr

在本章中，我们将学习数据转换模式及其在数据管理中的作用。接下来的部分将介绍Lambda、Kappa和微服务架构模式。我们还将讨论一些重要的数据转换方法，如数据清洗、标准化、掩码、去重、数据增强、验证和

本章深入探讨了将不同数据源整合为统一、可访问格式的各种策略和方法。章节的第一部分介绍了两种主要的数据集成模型——点对点集成和基于中间件的集成。将详细分析每种模型的优缺点和适用场景，以便您更好地理解它们

数据摄取是处理和分析数据的关键起点。正是在这一环节，一切开始展开，正如您所知，稳固的基础对于任何项目的成功至关重要。在本章中，我们将深入探讨数据摄取这一迷人领域，揭示其重要性、复杂性和优势。 想象一下

在当今快节奏、数据驱动的世界中，企业必须管理和分析其数据资产，以获得竞争优势。这些数据呈现多种形式，从结构化数据（如商业交易）到非结构化数据（如社交媒体帖子或电子邮件）。快速存储和处理这些多种类型数据

在本章中，我们将继续探索数据源，特别是深入了解列式数据格式。正如您将学到的，这些格式具有显著的优势，特别适用于分析型工作负载。然而，它们也带来了一些挑战，需要经过深思熟虑的考虑。 接下来，我们将比较不

数据源是组织在运营或分析中使用的数据的起点。它们可以是结构化的或非结构化的，采用各种格式，且位于不同的地方。在现代数据集成中，数据源对于在需要时向正确的人员提供准确、及时和可靠的信息至关重要。 我们将

在本章中，我们将回顾数据集成的历史，并探索多种架构，这对于理解这一快速发展的主题至关重要。正如一句格言所说，要知道我们将要去哪里，我们首先必须了解我们来自哪里。带着这一理念，我们将回顾数据集成的起点、

数据集成之所以重要，是因为它为在数据管理和分析领域获得洞察性结论奠定了基础。在当今这个数据驱动的世界中，能够快速收集并统一来自不同来源的数据，这些数据的体量、种类和复杂性不断增长，是至关重要的。 本章