数据

本章涵盖 将 Kafka 与数据源和接收端集成 为最佳数据流配置连接器和 worker 使用 REST API 管理 Kafka Connect 创建与修改连接器 使用 JDBC 源和 Debeziu

本章内容概览： Kafka 中消息清理的机制 管理消息保留的可选策略 Kafka 如何处理过期数据的清理 在 Kafka 中，管理消息的生命周期对于维持系统性能和保证数据完整性至关重要。本章介绍两种关

本章内容： Kafka 的基于 fetch 的消费模型 偏移量管理 消费组的作用 Kafka 如何协调任务分配 Range Assignor 与 Round Robin Assignor 的影响 静态

本章通常使用官方的 Kafka Java 库，或者当生产者不运行在 JVM 中时，使用基于 C 库 librdkafka（https://github.com/confluentinc/librdka

本章内容 使用 KRaft 与 ZooKeeper 进行 Kafka 集群管理 从 ZooKeeper 迁移到 KRaft 客户端如何连接到 Kafka 在前面的章节中，我们已经把 Kafka 作为一

本章内容包括 提高性能的主题（topic）设置 确定主题最佳分区数 影响性能的 Kafka broker 设置 生产者和消费者的性能调优 在上一章中，我们学习了如何用 Kafka 可靠地生产消息。本章

本章内容包括 Kafka 的确认（ACK）设置 Kafka 中的数据可用性与容错性 Kafka 的投递保证（delivery guarantees） Kafka 的事务能力 Kafka 中的主从（Le

本章内容包括 日志的用途与属性 将 Kafka 视为一种基于日志的系统 作为分布式系统的 Kafka：分区与复制 进一步剖析 Kafka 集群组件 Kafka 在企业环境中的应用 在本章中，我们将探讨

本章内容包括 操作 Kafka 主题 主题如何构建 Kafka 中的数据流结构 消息 —— Kafka 中的基本数据单元 在本章中，我们将深入探讨 Apache Kafka 的基础要素：主题以及消息的

本章内容包括 介绍本书的示例用例 使用 kafka-topics.sh 命令创建主题（topic） 使用 kafka-console-producer.sh 命令发送（生产）消息 使用 kafka-c

本章内容包括 Apache Kafka 是什么及其使用场景 Kafka 在企业生态系统中的定位与作用 Kafka 的架构概览 Kafka 的运行与使用 现代企业应用通常由彼此独立的组件和服务构成，这些

引言 在大数据与人工智能时代，健壮的数据存储与管理是成功 AI 计划的支柱。本章审视这些关键组成部分，强调它们在整体 AI 架构中的角色。 我们将探讨数据存储架构：本地（on-premises）、云端

引言 在数据驱动的决策领域，旅程始于有效的数据收集与摄取策略。本章将探讨数据采集与导入的基础环节，它们是开展高级分析或人工智能驱动项目的基石。我们的目标是全面理解收集与摄取多源数据所涉及的方法论、工具

引言 本章介绍人工智能（AI）系统现代数据架构的基本概念，涵盖从传统数据库到分布式和云原生解决方案的演进过程。我们将探讨AI数据管理的独特挑战，包括可扩展性、实时处理和非结构化数据处理。我们还将深入讨

本章内容 定义事件流和事件 介绍Kafka事件流平台 将平台应用于具体示例 虽然持续不断的数据流为消费者创造了更多的娱乐和机会，但这些信息的使用者越来越多地变成了使用其他软件系统的软件系统。例如，想想

数据源是组织在运营或分析中使用的数据起点。它们既可能是结构化也可能是非结构化，格式多样、位置各异。在现代数据集成中，数据源对在需要时为合适的人提供准确、及时、可靠的信息至关重要。 我们将先识别不同的数

本章将回溯数据集成的发展史，并梳理多种架构——这些内容对理解这一快速演进领域的走向至关重要。俗话说，欲知所往，先明所来。基于此，我们将回看数据集成的起点、里程碑与关键技术，为当下现状与未来可能性提供背

数据集之所以重要，是因为它为数据管理与分析领域获得有洞察力的结论奠定了基础。在当今数据驱动的世界里，能够快速从多种来源收集并整合（在体量、类型与复杂度上都不断增长的）数据，至关重要。 本章将深入探讨数

数据集成在不断演进的技术版图中扮演着枢纽角色：它连接各类异构数据源，促成信息的顺畅传递。要让不同的系统与应用高效协同，从而帮助组织做出明智决策、从数据中提炼有价值的洞见，数据集成是不可或缺的。作为这段