获得徽章 0
CDC的全称是Change Data Capture,作为一种可以捕获数据库中数据变更的技术,可以实时或者近实时的把数据库表中的变化同步到下游,CDC分为基于查询和基于日志两种。
基于查询的CDC比较简单,是入侵性的,要在数据库执行SQL语句,需要扫描包含大量记录的整个表,会影响数据源的性能;基于日志的CDC不需要再数据源执行SQL语句,是非侵入性的,通过读取源数据库的日志文件以识别对源库表的创建、修改或删除。
展开
10
在当今快速演进的技术领域,Data+AI 已成为数据架构的热点方向,涵盖了从数据为AI服务(Data for AI)到利用AI增强数据仓库(AI for Data)的广泛应用。
3
大数据架构经历了:传统数仓 —> 数据湖 —>数据湖仓的演变,其核心是:满足企业对快速增长的数据管理及多样化数据价值释放的诉求
5
湖仓一体的兴起
2006年,英国数学家Clive Humbly创造了一个著名的短语:“数据是新的石油。”数据是组织的命脉。竞争优势是由组织如何使用数据来定义的。在这个数字化转型的时代,数据管理至关重要。越来越多的组织正在拥抱数字化转型项目,而数据是这些转型的核心。正如前面所讨论的,EDW和数据湖能够满足过去人们的需求,但已经不再适用于未来的发展,需要出现一种新的数据架构来进行改变。
展开
6
#新人报道# LakeSoul 是 Linux Foundation AI & Data 研发的云原生湖仓一体框架!
评论
下一页
个人成就
文章被点赞 20
文章被阅读 10,866
掘力值 309
收藏集
1
关注标签
0
加入于