数据

数据源是组织在运营或分析中使用的数据起点。它们既可能是结构化也可能是非结构化，格式多样、位置各异。在现代数据集成中，数据源对在需要时为合适的人提供准确、及时、可靠的信息至关重要。 我们将先识别不同的数

本章将回溯数据集成的发展史，并梳理多种架构——这些内容对理解这一快速演进领域的走向至关重要。俗话说，欲知所往，先明所来。基于此，我们将回看数据集成的起点、里程碑与关键技术，为当下现状与未来可能性提供背

数据集之所以重要，是因为它为数据管理与分析领域获得有洞察力的结论奠定了基础。在当今数据驱动的世界里，能够快速从多种来源收集并整合（在体量、类型与复杂度上都不断增长的）数据，至关重要。 本章将深入探讨数

数据集成在不断演进的技术版图中扮演着枢纽角色：它连接各类异构数据源，促成信息的顺畅传递。要让不同的系统与应用高效协同，从而帮助组织做出明智决策、从数据中提炼有价值的洞见，数据集成是不可或缺的。作为这段

数据工程师应使用加密来保护在各个工具之间传输的敏感日志数据。本章将介绍 TLS（Transport Layer Security，传输层安全协议） ——一种对网络连接进行加密的协议，用于防止对在途数据

在开始动手使用数据工程工具之前，先总体梳理一下数据工程师在构建基础设施时需要完成的任务。我们还将介绍常见的日志记录架构，并讨论工具在格式化日志数据时常用的数据序列化结构，包括 JSON 和 YAML。

在当今互联的世界里，安全而高效的数据共享对现代企业至关重要。能在组织内部与外部无缝交换数据，将为协作、创新与基于数据的决策带来巨大的机会。然而，传统的数据共享方式常常面临诸多挑战：传输繁琐、存在安全风

Snowflake 是一个数据库，因此它具备与其他数据库类似的管理功能。它也是最早的数据仓库即服务（DWaaS）之一，这意味着终端用户可以最大限度地减少运维与维护。 本章概述了管理 Snowflake

如果你是数据分析师、数据科学家，或身处管理层，你就会明白：在任何时刻持续且及时地获取数据有多么重要。无论是查询、转换，还是以任何方式访问数据，都希望这些数据代表当下最新的信息，以便用于分析。 一旦数据

恭喜你决定开始使用 Snowflake！ 本章将带你掌握这个强大的云数据平台的基础要点。内容涵盖：规划你的 Snowflake 环境、创建 Snowflake 账户、浏览其基于 Web 的用户界面。你

云技术可以改变组织开展分析工作的方式。云让组织能够快速行动并采用业界最佳技术。传统上，数据仓库和商业智能（BI）项目被视为重大的投资，往往需要数年才能建成。它们需要一支由 BI、数据仓库和数据集成的开

为什么有些排序算法天生比其他算法更快？这一现实背后的数学基础是什么？本章将揭示排序的深层理论基础，展示支配算法设计中可能与不可能的无形规则。通过探讨形式模型、基本下界以及随机性和稳定性的细微作用，读者

欢迎阅读《Elastic 中的向量搜索入门》。本章将帮助你理解 Elastic 搜索的基本范式，以及向量搜索如何成为实时、上下文感知且精准的信息检索利器。 本章内容包括： 向量搜索引入前的 Elast

在本章中，我们将深入探索嵌入（embeddings）或向量的奇妙世界，以及它们在多个领域中的广泛应用。我们将介绍“嵌入”这一概念，它能够对复杂数据进行有效表示，从而使强大的机器学习（ML）模型能够分析

设计模式在软件工程领域已经非常成熟，但在数据工程领域则是近年来才逐渐受到关注。因此，在这里我需要向你简单介绍一下设计模式，并解释它在数据工程中的含义。 什么是设计模式？ 你可能会惊讶于自己日常生活中有

上一章帮助我们建立了对NLP概念的基础理解，如文本表示和语言建模，以及基于RNN的架构来执行生成任务。在本章中，我们将建立在这些概念的基础上，并介绍一些增强功能，这些功能促成了当前最先进的变换器架构的

在过去的几年里，自然语言处理（NLP）或文本数据处理在研究圈和特别是在工业界引起了广泛的关注。文本不仅仅是另一种非结构化的数据类型；它所代表的内容远远超过眼见的。文本数据是我们思想、理念、知识和交流的

CockroachDB旨在成为一个可扩展的、分布式的事务型数据库系统，能够满足高性能、高可用性和全球分布式应用的需求。然而，它并不是一个可以消除应用程序代码或架构设计中所有低效问题的“魔法盒”。开发人

像所有数据库一样，CockroachDB 对来自应用程序代码的请求作出响应。应用程序如何请求和使用数据对应用程序性能和可扩展性有着巨大的影响。本章将回顾应用程序如何与 CockroachDB 一起工作