数据

本章内容包括 日志的用途与属性 将 Kafka 视为一种基于日志的系统 作为分布式系统的 Kafka：分区与复制 进一步剖析 Kafka 集群组件 Kafka 在企业环境中的应用 在本章中，我们将探讨

本章内容包括 操作 Kafka 主题 主题如何构建 Kafka 中的数据流结构 消息 —— Kafka 中的基本数据单元 在本章中，我们将深入探讨 Apache Kafka 的基础要素：主题以及消息的

本章内容包括 介绍本书的示例用例 使用 kafka-topics.sh 命令创建主题（topic） 使用 kafka-console-producer.sh 命令发送（生产）消息 使用 kafka-c

本章内容包括 Apache Kafka 是什么及其使用场景 Kafka 在企业生态系统中的定位与作用 Kafka 的架构概览 Kafka 的运行与使用 现代企业应用通常由彼此独立的组件和服务构成，这些

引言 在大数据与人工智能时代，健壮的数据存储与管理是成功 AI 计划的支柱。本章审视这些关键组成部分，强调它们在整体 AI 架构中的角色。 我们将探讨数据存储架构：本地（on-premises）、云端

引言 在数据驱动的决策领域，旅程始于有效的数据收集与摄取策略。本章将探讨数据采集与导入的基础环节，它们是开展高级分析或人工智能驱动项目的基石。我们的目标是全面理解收集与摄取多源数据所涉及的方法论、工具

引言 本章介绍人工智能（AI）系统现代数据架构的基本概念，涵盖从传统数据库到分布式和云原生解决方案的演进过程。我们将探讨AI数据管理的独特挑战，包括可扩展性、实时处理和非结构化数据处理。我们还将深入讨

本章内容 定义事件流和事件 介绍Kafka事件流平台 将平台应用于具体示例 虽然持续不断的数据流为消费者创造了更多的娱乐和机会，但这些信息的使用者越来越多地变成了使用其他软件系统的软件系统。例如，想想

数据源是组织在运营或分析中使用的数据起点。它们既可能是结构化也可能是非结构化，格式多样、位置各异。在现代数据集成中，数据源对在需要时为合适的人提供准确、及时、可靠的信息至关重要。 我们将先识别不同的数

本章将回溯数据集成的发展史，并梳理多种架构——这些内容对理解这一快速演进领域的走向至关重要。俗话说，欲知所往，先明所来。基于此，我们将回看数据集成的起点、里程碑与关键技术，为当下现状与未来可能性提供背

数据集之所以重要，是因为它为数据管理与分析领域获得有洞察力的结论奠定了基础。在当今数据驱动的世界里，能够快速从多种来源收集并整合（在体量、类型与复杂度上都不断增长的）数据，至关重要。 本章将深入探讨数

数据集成在不断演进的技术版图中扮演着枢纽角色：它连接各类异构数据源，促成信息的顺畅传递。要让不同的系统与应用高效协同，从而帮助组织做出明智决策、从数据中提炼有价值的洞见，数据集成是不可或缺的。作为这段

数据工程师应使用加密来保护在各个工具之间传输的敏感日志数据。本章将介绍 TLS（Transport Layer Security，传输层安全协议） ——一种对网络连接进行加密的协议，用于防止对在途数据

在开始动手使用数据工程工具之前，先总体梳理一下数据工程师在构建基础设施时需要完成的任务。我们还将介绍常见的日志记录架构，并讨论工具在格式化日志数据时常用的数据序列化结构，包括 JSON 和 YAML。

在当今互联的世界里，安全而高效的数据共享对现代企业至关重要。能在组织内部与外部无缝交换数据，将为协作、创新与基于数据的决策带来巨大的机会。然而，传统的数据共享方式常常面临诸多挑战：传输繁琐、存在安全风

Snowflake 是一个数据库，因此它具备与其他数据库类似的管理功能。它也是最早的数据仓库即服务（DWaaS）之一，这意味着终端用户可以最大限度地减少运维与维护。 本章概述了管理 Snowflake

如果你是数据分析师、数据科学家，或身处管理层，你就会明白：在任何时刻持续且及时地获取数据有多么重要。无论是查询、转换，还是以任何方式访问数据，都希望这些数据代表当下最新的信息，以便用于分析。 一旦数据

恭喜你决定开始使用 Snowflake！ 本章将带你掌握这个强大的云数据平台的基础要点。内容涵盖：规划你的 Snowflake 环境、创建 Snowflake 账户、浏览其基于 Web 的用户界面。你

云技术可以改变组织开展分析工作的方式。云让组织能够快速行动并采用业界最佳技术。传统上，数据仓库和商业智能（BI）项目被视为重大的投资，往往需要数年才能建成。它们需要一支由 BI、数据仓库和数据集成的开