首页
AI Coding
沸点
课程
直播
活动
APP
插件
搜索历史
清空
创作者中心
写文章
发沸点
写笔记
写代码
草稿箱
创作灵感
查看更多
登录
注册
确定删除此收藏集吗
删除后此收藏集将被移除
取消
确定删除
确定删除此文章吗
删除后此文章将被从当前收藏集中移除
取消
确定删除
编辑收藏集
名称:
描述:
0
/100
公开
当其他人关注此收藏集后不可再更改为隐私
隐私
仅自己可见此收藏集
取消
确定
lakehouse
订阅
ericsyh
更多收藏集
微信扫码分享
微信
新浪微博
QQ
23篇文章 · 0订阅
构建 Medallion 架构——数据架构的演进
构建稳健的数据架构是数据管理中最具挑战性的环节之一。 从数据采集、转换、分发到最终消费,整条处理流程会因多种因素而显著不同:包括治理方式、所用工具、组织的风险画像、规模与成熟度、用例需求,以及性能、灵
构建 Medallion 架构——打地基
在建房子之前,必须先打好坚实的地基。Medallion 架构亦然。本章作为预备性的桥段,引入我们在讨论 Medallion 架构时会反复出现的关键组件与模式,也为第 3 章的深入讲解(Medallio
构建 Medallion 架构——深入解读Medallion架构
在第 1 章中,我们回顾了 Spark 与 Delta Lake 的演进,并引介了 Medallion 架构。这一设计模式帮助在现代湖仓(lakehouse)中以逻辑方式组织数据:通过 Bronze
构建 Medallion 架构——使用 Microsoft Fabric 构建 Medallion 基础
在第一部分(Part I)中,我们探讨了 Medallion 架构的分层设计——Bronze、Silver、Gold。每一层都承担关键角色:将数据从 Bronze 层的原始态逐步转化为 Gold 层可
构建 Medallion 架构——构建 Bronze 层
在你已经搭建好数据平台基础之后——无论是 Microsoft Fabric 还是 Azure Databricks——就可以开始构建 Bronze 层了。Bronze 层是所有原始数据(raw dat
构建 Medallion 架构——构建 Silver 层
在第 5 章中,我们基于 Oceanic Airlines 的参考架构,探讨了 Medallion 架构中 Bronze 层的基础设计与搭建。我们审视了部署与配置,并通过大量代码片段与示例加深理解。你
构建 Medallion 架构——精简与优化 Gold 层
在第 5 章里,我们构建了 Bronze 层,解决了在来源系统多样且复杂的前提下,仍要做出可查询结构的难题。我强调了这一基础层在稳定性与可靠性方面的重要性。进入第 6 章后,我们把重心转向 Silve
构建 Medallion 架构——生成式 AI 赋能的未来 Medallion 架构
作为本书的收官,我们将探讨不断演进的 Medallion 架构如何日益与生成式人工智能(GenAI)交织在一起。¹ 传统上,Medallion 架构在 Bronze、Silver 和 Gold 各层主
构建 Medallion 架构——勋章架构的治理与安全
在第 11 章中,我们探讨了在大型、复杂组织里日益重要的去中心化与联邦式模型在勋章(Medallion)架构中的细微差别。第 12 章将把焦点转向健全的治理与安全协议,其重要性不言而喻。 本章将全面概
使用 Databricks Lakehouse 构建现代数据应用程序——使用 Unity Catalog 查看数据血缘
在本章中,我们将深入探讨数据血缘在 Databricks 数据智能平台中的关键作用。您将学习如何追溯数据的来源,可视化数据集的转化过程,识别上游和下游的依赖关系,并使用目录资源管理器的血缘图功能来记录