首页
沸点
课程
数据标注
HOT
AI Coding
更多
直播
活动
APP
插件
直播
活动
APP
插件
搜索历史
清空
创作者中心
写文章
发沸点
写笔记
写代码
草稿箱
创作灵感
查看更多
登录
注册
数据
数据智能老司机
创建于2023-05-27
订阅专栏
数据相关
等 70 人订阅
共370篇文章
创建于2023-05-27
订阅专栏
默认顺序
默认顺序
最早发布
最新发布
Snowflake 数据建模——深入理解 Snowflake 对象
上章介绍了驱动 Data Cloud 的创新架构,以及它如何开启传统数据库从未实现的可能性。本章将深入讲解 Snowflake 客户在建模过程中会用到的数据库对象。诸如**表(tables)与视图(v
Snowflake 数据建模——掌握 Snowflake 架构
自数据库诞生以来,伴随数据规模与处理需求的增长,如何同时管理并发与可扩展性始终是反复出现的难题。多年来,人们尝试了许多创新设计,并取得了参差不齐的成效。然而,这些成功往往也伴随着新的权衡与代价。 Sn
Snowflake 数据建模——四种建模类型概论
上章把“模型”介绍为对现实的选择性简化。就像 Harry Beck 专为伦敦地铁出行而设计的地铁线路图一样,其他地图变体——比如街道图和地形图——用来刻画地理的不同侧面。对数据库以及依赖它们开展业务运
Snowflake 数据建模——解锁建模的潜能
在数据库系统实践的半个多世纪里,“建模”(modeling)一词的含义已演变出截然不同的内涵。本开篇章节旨在为全书定下基调:揭开建模的神秘面纱,并介绍其应用、方法论与收益。贯穿本书,建模这一概念将逐步
构建 Medallion 架构——勋章架构的治理与安全
在第 11 章中,我们探讨了在大型、复杂组织里日益重要的去中心化与联邦式模型在勋章(Medallion)架构中的细微差别。第 12 章将把焦点转向健全的治理与安全协议,其重要性不言而喻。 本章将全面概
构建 Medallion 架构——生成式 AI 赋能的未来 Medallion 架构
作为本书的收官,我们将探讨不断演进的 Medallion 架构如何日益与生成式人工智能(GenAI)交织在一起。¹ 传统上,Medallion 架构在 Bronze、Silver 和 Gold 各层主
构建 Medallion 架构——精简与优化 Gold 层
在第 5 章里,我们构建了 Bronze 层,解决了在来源系统多样且复杂的前提下,仍要做出可查询结构的难题。我强调了这一基础层在稳定性与可靠性方面的重要性。进入第 6 章后,我们把重心转向 Silve
构建 Medallion 架构——构建 Silver 层
在第 5 章中,我们基于 Oceanic Airlines 的参考架构,探讨了 Medallion 架构中 Bronze 层的基础设计与搭建。我们审视了部署与配置,并通过大量代码片段与示例加深理解。你
构建 Medallion 架构——构建 Bronze 层
在你已经搭建好数据平台基础之后——无论是 Microsoft Fabric 还是 Azure Databricks——就可以开始构建 Bronze 层了。Bronze 层是所有原始数据(raw dat
构建 Medallion 架构——使用 Microsoft Fabric 构建 Medallion 基础
在第一部分(Part I)中,我们探讨了 Medallion 架构的分层设计——Bronze、Silver、Gold。每一层都承担关键角色:将数据从 Bronze 层的原始态逐步转化为 Gold 层可
构建 Medallion 架构——深入解读Medallion架构
在第 1 章中,我们回顾了 Spark 与 Delta Lake 的演进,并引介了 Medallion 架构。这一设计模式帮助在现代湖仓(lakehouse)中以逻辑方式组织数据:通过 Bronze
构建 Medallion 架构——打地基
在建房子之前,必须先打好坚实的地基。Medallion 架构亦然。本章作为预备性的桥段,引入我们在讨论 Medallion 架构时会反复出现的关键组件与模式,也为第 3 章的深入讲解(Medallio
构建 Medallion 架构——数据架构的演进
构建稳健的数据架构是数据管理中最具挑战性的环节之一。 从数据采集、转换、分发到最终消费,整条处理流程会因多种因素而显著不同:包括治理方式、所用工具、组织的风险画像、规模与成熟度、用例需求,以及性能、灵
Databricks 的极致数据工程——数据工程基础
引言(Introduction) 在当今数据驱动的世界里,组织正面临如何高效管理并从海量数据中提取价值的挑战。这催生了数据工程(Data Engineering)这一关键学科:专注于数据采集、转换与管
Snowflake Cortex AI:面向生成式 AI 应用的解决方案——机器学习函数概览
引言(Introduction) 在深入探讨 Cortex 的生成式 AI(Generative AI)能力之前,先了解其原生机器学习(ML)函数是有价值的,这将为理解平台的高级分析能力打下坚实基础。
Snowflake Cortex AI:面向生成式 AI 应用的解决方案——理解 Snowflake Cortex
引言(Introduction) 人工智能(AI)与机器学习(ML)的迅猛发展为企业利用数据驱动洞察创造了新机遇。但把 AI 融入既有企业工作流常常面临重大挑战:基础设施复杂度高、数据安全顾虑多、且需
Snowflake Cortex AI:面向生成式 AI 应用的解决方案——Snowflake 生态中的 AI/ML 入门
引言(Introduction) 本章将介绍 Snowflake 生态中的人工智能(AI)与机器学习(ML)。内容涵盖核心 AI 概念、AI 与生成式 AI(Generative AI)的影响与工作原
在 Databricks 上的 Unity Catalog 数据治理——AI 治理
“AI 驱动”已经成了各类组织与产品最常用的形容词。夸张宣传当然不少,但确实有越来越多的公司希望利用自身数据,借助最新的 AI 进展做出有用的东西。就像“数字化转型”,AI 转型也是真实且正在发生的。
在 Databricks 上的 Unity Catalog 数据治理——访问控制与权限模型
在第 1 章里,我们介绍了湖仓范式,并说明 Databricks 平台如何将数据存放在云对象存储中,并提供用于高效查询和 ACID 属性的优化层。第 3 章我们讨论了身份管理的概念,并简单触及了访问管
在 Databricks 上的 Unity Catalog 数据治理——Unity Catalog 与计算
“技术;多用户计算机”(Technology; The Multi-User Computers) 《纽约时报》1984 年 8 月 23 日纸质版刊登了题为“Technology; The Mult
下一页