在第 1 章中，我们回顾了 Spark 与 Delta Lake 的演进，并引介了 Medallion 架构。这一设计模式帮助在现代湖仓（lakehouse）中以逻辑方式组织数据：通过 Bronze

构建稳健的数据架构是数据管理中最具挑战性的环节之一。 从数据采集、转换、分发到最终消费，整条处理流程会因多种因素而显著不同：包括治理方式、所用工具、组织的风险画像、规模与成熟度、用例需求，以及性能、灵

在你已经搭建好数据平台基础之后——无论是 Microsoft Fabric 还是 Azure Databricks——就可以开始构建 Bronze 层了。Bronze 层是所有原始数据（raw dat

在第 5 章中，我们基于 Oceanic Airlines 的参考架构，探讨了 Medallion 架构中 Bronze 层的基础设计与搭建。我们审视了部署与配置，并通过大量代码片段与示例加深理解。你

引言（Introduction） 人工智能（AI）与机器学习（ML）的迅猛发展为企业利用数据驱动洞察创造了新机遇。但把 AI 融入既有企业工作流常常面临重大挑战：基础设施复杂度高、数据安全顾虑多、且需

2021 年，当 Nexa Boutique（下称 Nexa）的数据架构师在为公司评估数据治理战略时，Databricks 发布了 Unity Catalog。这是一套原生于 Databricks 平

在面向客户的岗位上，一个好处是能出差、去不同的城市。如果你和 Karthik 一样，喜欢旅行、住舒适的酒店，那么想象一下：去一座新城市开会，住进一家设施现代的酒店。从订房到退房，中间都有哪些步骤？ 第

引言（Introduction） 本章将介绍 Snowflake 生态中的人工智能（AI）与机器学习（ML）。内容涵盖核心 AI 概念、AI 与生成式 AI（Generative AI）的影响与工作原

引言（Introduction） 在深入探讨 Cortex 的生成式 AI（Generative AI）能力之前，先了解其原生机器学习（ML）函数是有价值的，这将为理解平台的高级分析能力打下坚实基础。

引言 在过去十年里，个人、企业与机构产生的数据量激增，这给“超大规模数据”的管理带来了挑战。产生海量数据的企业需要为正在生成的数据寻找合适的管理方案，还要识别数据的访问模式，区分“高频访问数据”和“低

TOKEN2049 新加坡峰会已圆满落幕。作为全球 Web3 行业最具影响力的年度盛会之一，今年大会吸引了来自全球超过 25,000 名从业者、项目方、投资人和开发者，500 余家参展商齐聚滨海湾金沙

引言（Introduction） 本章将深入解析实时（real-time）模式，并让读者熟悉如何用该模式构建解决方案。内容涵盖实时模式可解决的用例；同时讨论如何使用开源技术设计实时系统，并通过示例应用

引言（Introduction） 本章将帮助读者理解数据工程师用来表示与组织数据的各类数据类型与机制。我们将以电商应用为例，进一步讲解数据基础。同时，读者还将接触数据建模（data modeling）

01 社区影响力 AutoMQ GitHub Star 正式突破 7,000！🌟 为什么越来越多的企业和开发者选择 AutoMQ？ **100% Kafka API 兼容：**平滑迁移，无供应商锁定，

在企业推进数据民主化的进程中，智能问数被寄予厚望——业务人员只需用自然语言提问，Agent 便能自动返回准确、可解释的数据洞察。

本文介绍基于Maven的SeaTunnel构建系统与分发基础架构。涵盖多模块项目如何构建、二进制分发包如何组装、连接器插件如何打包与发现，以及如何创建Docker镜像用于部署。

Flink Agents项目的推出标志着Apache Flink社区在AI领域的重要布局。通过将Flink强大的流处理能力与AI智能体技术相结合，为事件驱动的AI应用提供了一个工业级的解决方案。

实时金融数据的关键需求 在当今金融市场，毫秒之间的差异至关重要。全球股票市场每日成交额超过 6.6 万亿美元，交易员的成败往往取决于数据传输的速度。高频交易以微秒级执行订单，哪怕极小的延迟也可能

随着数据量的增大，传统关系型数据库越来越不能满足对于海量数据存储的需求。对于分布式关系型数据库，我们了解其底层存储结构是非常重要的。