1. JobContainer 1.1 基本介绍   JobContainer 的 job 实例运行在 jobContainer 容器中，它是所有任务的 master，负责初始化、拆分、调度、运行、回

1 程序入口类Engine   任务执行的入口类为Engine   Engine类内部的entry方法主要功能是： 解析命令行参数-mode， -jobid ，-job ，分别获取执行模式，jobid

Datax 的使用过程中，我们会发现，不管是利用 java 调用以及 python 命令启动的方式，我们都无法进行任务的管理，并且每次执行任务前，我们 都需要编辑 Json 配置文件，这是比较繁琐的，

1.DataX的整体架构   主要分为三个部分，Reader，FrameWork，Writer 1.1 Reader   读数据库内容的插件，一个 job 会根据 json 配置文件调用 对应数据源的

本文主要从Binlog实时采集和离线处理Binlog还原业务数据两个方面，来介绍如何实现DB数据准确、高效地进入Hive数仓。 在数据仓库建模中，未经任何加工处理的原始业务层数据，我们称之为ODS(Operational Data Store)数据。在互联网企业中，常见的ODS…

在数据仓库建模中，未经任何加工处理的原始业务层数据，我们称之为ODS(Operational Data Store)数据。在互联网企业中，常见的ODS数据有业务日志数据（Log）和业务DB数据（DB）两类。对于业务DB数据来说，从MySQL等关系型数据库的业务数据进行采集，然后…

最近，想对MySQL有进一步的认识，看如何保证缓存与数据库一致性，在负责业务上也需要这方面的优化，有些文章提到使用监听MySQL binlog实现，想试下，本文纯属好奇心驱使。 binlog是MySQL server层维护的一种二进制日志，与innodb等存储引擎中的redo/…

在早期的时候，阿里巴巴公司因为杭州和美国两个地方的机房都部署了数据库实例，但因为跨机房同步数据的业务需求 ，便孕育而生出了canal，主要是基于trigger(触发器)的方式获取增量变更。从 2010 年开始，阿里巴巴公司开始逐步尝试数据库日志解析，获取增量变更的数据进行同步，…

近期需要重构一个老系统，需要从几个服务中实时同步订单的修改到重构表里。 在每个服务的mysql操作前埋点，发送修改信息到队列或服务上。这种方案需要修改多个服务的代码并且测试对原系统的影响，有额外开发和测试成本。 同步mysql的binlog，根据表的insert和update更…