随着科技的发展和数字化转型的趋势，企业对数据的价值挖掘需求越来越强烈，企业风控、营销、运营等业务端对数据也提出了更高的时效性要求。
但是技术上，海量、异构的数据采集过程困难，时效性难以保证；业务上，企业使用系统繁多，数据源类型多样，数据孤岛众多，数据结构不一致。传统的ETL工具无法满足实时性的要求，因此我们决定做一款实时的ETL工具 —— 滴普数据集成平台DCT，致力于解决企业数据孤岛多，数据结构难统一，数据时效性低等问题，帮助企业降本增效。
滴普数据集成平台DCT 技术架构图
滴普数据集成平台DCT是数据传输的高速公路，致力于解决异构数据源之间的实时同步、离线同步，是集数据离线同步、实时同步于一体的数据传输服务，同时支持数据订阅，支持下游消费组消费。
滴普数据集成平台DCT业务架构图
产品功能
1、数据离线同步
支持不同环境及不同类型的数据库离线同步。支持离线同步的源库包括有公网 IP 的外网自建数据库，自建数据库；支持查看所有离线同步任务的状态及多任务批量操作。
滴普数据集成平台DCT提供的数据离线同步功能是您数据上云的最佳选择。数据迁移仅需几步设置，则可帮助您完成数据从本地迁移上云的一系列繁琐工作。迁移过程中并不影响源数据库继续对外提供服务，最小化上云过程对您业务的影响。
2、数据实时同步
滴普数据集成平台DCT 的数据实时同步功能基于数据库日志CDC的数据交换，利用了数据库日志本身的服务性能，保证了交换性能，非侵入性，在源和目标端不安装任何代理程序对源库性能影响小(<3%)；数据实时同步适用于异地多活、实时数仓、实时BI分析、实时计算引擎flink等场景。
3、数据订阅
滴普数据集成平台DCT可帮助用户获取数据库的实时增量更新数据，用户能够根据自身业务需求自由消费增量数据，例如实现缓存更新策略、业务异步解耦、异构数据源数据实时同步及含复杂 ETL 的数据实时同步等多种业务场景。数据订阅目前支持 监听内容缓存至kafka。
产品优势
滴普数据集成平台DCT相较于市面上的ETL工具，从成本、数据源数量、监控能力、操作体验上都有明显优势。
1、低成本
一台4C8G机器即可运行3个实时同步任务，相比较于其他实时同步工具具有显著成本优势。
2、丰富多样的数据源
业界云上数据迁移工具的目的端数据源只支持厂商自有的数据源类型；我们支持20+种异构数据源的离线/实时同步；支持异构数据源的单/向双向同步。
3、实时监控预警
支持整个任务级别的运维管控，提供运维大屏、监控预警、断点续传、故障转移等运维能力；可以监控任务延迟、同步数据量、故障、心跳、失败等信息；全过程断点控制和高容错机制，避免数据丢失。
4、简单易用
提供可视化操作界面，向导式任务流程创建，用户可零代码轻松创建同步任务。控制台展示同步任务运行状态、进度等信息，用户方便管理自己的同步任务。
案例分享
面临的问题
某零售行业巨头，涉及线上线下的业务数据库类型有三种：mysql/oracle/pg，底层需接入3个组件实现实时同步，管理复杂，成本高。其中oracle使用采购的informatica CDC，还需要另外买kafka写入组件；且当前市面上无开源软件支持pg的实时同步。
解决方案
通过滴普数据集成平台DCT基于日志的实时同步，取代底层多个组件，实现多个业务库的实时同步。
方案优势
统一架构，管理简单：infomatic需要针对oracle，pg,mysql等数据源配采购5-8个独立组件；而DCT采用统一方案
高性能实时同步：秒级同步200+表日同步20T数据
成果
滴普数据集成平台DCT在客户现场监控单节点实时监控约200张表，平日数据量约为3000w+；
滴普数据集成平台DCT部署生产环境运行4个月，运行稳定，无数据丢失；
滴普数据集成平台DCT帮客户抗住双十一、双十二的压力（数据量为平日3-5倍），无崩溃，无数据丢失，数据延迟<2秒；
滴普数据集成平台DCT实时同步速率约80MB/s；日最高承受数据量达20TB。
交付方式
滴普数据集成平台DCT目前支持两种方式交付。
可私有化部署
SaaS购买
产品适用场景
滴普数据集成平台DCT适用于以下6个场景。
新老系统切换：零停机同步，通过全量+增量同步，解决系统切换问题。
去IOE：支持oracle-mysql异构数据源之间的离线同步。
本/异地多活：在同城/异地构建多个业务单元,各个业务单元之间通过DCT实现数据的双向实时同步，保障全局数据的一致性。当任何一个单元出现故障时，只需将该单元的流量切换至其他单元即可，可实现业务的秒级恢复，有效地保障了服务的高可用性。
本/异地灾备：灾备中心和业务中心的数据通过DCT实现实时同步，用以保障数据一致性。当业务中心故障时，可以直接将业务流量切换至灾备中心，快速恢复服务。
实时BI分析：DCT可以将业务数据库实时同步至客户的BI存储系统，例如分析型数据库或流计算等，助力客户快速搭建满足自身业务的实时BI系统。
企业数据中心建设：DCT可以将企业各业务域的数据，通过实时、离线的方式采集到数据 中心，支撑企业数据中心分层、分主题的数据模型建设
了解更多DCT产品信息请登录：www.deepexi.com/product-new…
