首页
AI Coding
数据标注
NEW
沸点
课程
直播
活动
APP
插件
搜索历史
清空
创作者中心
写文章
发沸点
写笔记
写代码
草稿箱
创作灵感
查看更多
登录
注册
确定删除此收藏集吗
删除后此收藏集将被移除
取消
确定删除
确定删除此文章吗
删除后此文章将被从当前收藏集中移除
取消
确定删除
编辑收藏集
名称:
描述:
0
/100
公开
当其他人关注此收藏集后不可再更改为隐私
隐私
仅自己可见此收藏集
取消
确定
lakehouse
订阅
ericsyh
更多收藏集
微信扫码分享
微信
新浪微博
QQ
23篇文章 · 0订阅
构建 Medallion 架构——数据架构的演进
构建稳健的数据架构是数据管理中最具挑战性的环节之一。 从数据采集、转换、分发到最终消费,整条处理流程会因多种因素而显著不同:包括治理方式、所用工具、组织的风险画像、规模与成熟度、用例需求,以及性能、灵
构建 Medallion 架构——打地基
在建房子之前,必须先打好坚实的地基。Medallion 架构亦然。本章作为预备性的桥段,引入我们在讨论 Medallion 架构时会反复出现的关键组件与模式,也为第 3 章的深入讲解(Medallio
构建 Medallion 架构——深入解读Medallion架构
在第 1 章中,我们回顾了 Spark 与 Delta Lake 的演进,并引介了 Medallion 架构。这一设计模式帮助在现代湖仓(lakehouse)中以逻辑方式组织数据:通过 Bronze
构建 Medallion 架构——使用 Microsoft Fabric 构建 Medallion 基础
在第一部分(Part I)中,我们探讨了 Medallion 架构的分层设计——Bronze、Silver、Gold。每一层都承担关键角色:将数据从 Bronze 层的原始态逐步转化为 Gold 层可
构建 Medallion 架构——构建 Bronze 层
在你已经搭建好数据平台基础之后——无论是 Microsoft Fabric 还是 Azure Databricks——就可以开始构建 Bronze 层了。Bronze 层是所有原始数据(raw dat
构建 Medallion 架构——构建 Silver 层
在第 5 章中,我们基于 Oceanic Airlines 的参考架构,探讨了 Medallion 架构中 Bronze 层的基础设计与搭建。我们审视了部署与配置,并通过大量代码片段与示例加深理解。你
构建 Medallion 架构——精简与优化 Gold 层
在第 5 章里,我们构建了 Bronze 层,解决了在来源系统多样且复杂的前提下,仍要做出可查询结构的难题。我强调了这一基础层在稳定性与可靠性方面的重要性。进入第 6 章后,我们把重心转向 Silve
构建 Medallion 架构——生成式 AI 赋能的未来 Medallion 架构
作为本书的收官,我们将探讨不断演进的 Medallion 架构如何日益与生成式人工智能(GenAI)交织在一起。¹ 传统上,Medallion 架构在 Bronze、Silver 和 Gold 各层主
构建 Medallion 架构——勋章架构的治理与安全
在第 11 章中,我们探讨了在大型、复杂组织里日益重要的去中心化与联邦式模型在勋章(Medallion)架构中的细微差别。第 12 章将把焦点转向健全的治理与安全协议,其重要性不言而喻。 本章将全面概
使用 Databricks Lakehouse 构建现代数据应用程序——使用 Unity Catalog 查看数据血缘
在本章中,我们将深入探讨数据血缘在 Databricks 数据智能平台中的关键作用。您将学习如何追溯数据的来源,可视化数据集的转化过程,识别上游和下游的依赖关系,并使用目录资源管理器的血缘图功能来记录