
获得徽章 0
CDC的全称是Change Data Capture,作为一种可以捕获数据库中数据变更的技术,可以实时或者近实时的把数据库表中的变化同步到下游,CDC分为基于查询和基于日志两种。
基于查询的CDC比较简单,是入侵性的,要在数据库执行SQL语句,需要扫描包含大量记录的整个表,会影响数据源的性能;基于日志的CDC不需要再数据源执行SQL语句,是非侵入性的,通过读取源数据库的日志文件以识别对源库表的创建、修改或删除。
基于查询的CDC比较简单,是入侵性的,要在数据库执行SQL语句,需要扫描包含大量记录的整个表,会影响数据源的性能;基于日志的CDC不需要再数据源执行SQL语句,是非侵入性的,通过读取源数据库的日志文件以识别对源库表的创建、修改或删除。
展开
10
7
在当今快速演进的技术领域,Data+AI 已成为数据架构的热点方向,涵盖了从数据为AI服务(Data for AI)到利用AI增强数据仓库(AI for Data)的广泛应用。
3
4
湖仓一体的兴起
2006年,英国数学家Clive Humbly创造了一个著名的短语:“数据是新的石油。”数据是组织的命脉。竞争优势是由组织如何使用数据来定义的。在这个数字化转型的时代,数据管理至关重要。越来越多的组织正在拥抱数字化转型项目,而数据是这些转型的核心。正如前面所讨论的,EDW和数据湖能够满足过去人们的需求,但已经不再适用于未来的发展,需要出现一种新的数据架构来进行改变。
2006年,英国数学家Clive Humbly创造了一个著名的短语:“数据是新的石油。”数据是组织的命脉。竞争优势是由组织如何使用数据来定义的。在这个数字化转型的时代,数据管理至关重要。越来越多的组织正在拥抱数字化转型项目,而数据是这些转型的核心。正如前面所讨论的,EDW和数据湖能够满足过去人们的需求,但已经不再适用于未来的发展,需要出现一种新的数据架构来进行改变。
展开
6
3