什么是反向ETL?

586 阅读5分钟

数据仓库、中台、数据湖等技术和解决方案为现代化企业的数据使用奠定了基础,尤其是这些平台的云化,让这些方案变得简单,高可用,让数据的流转更快速。无论是数据仓库还是数据中台,叫什么不重要,重要的是他们为了实现同一个目的而生,所以它们的构成类似,并且可以简单的概述为:数据从多个业务系统向内集成到一个核心,数据处理完后再从核心向外反向集成到多个业务系统中。

无论是数据仓库还是中台,多年以来我们一直都有一个问题,那就是我们解决了整个数据体系构成的前半段,而后半段并没有得到业界应有的注意,所以当下,我们想要把处理完的数据从核心反向集成到各个业务系统中时,仍然显得阻力大,障碍多。这种虎头蛇尾的现状,并没有构成完整的数据体系,数据单纯的只是被收集和处理了,除了支持一些产品内的功能或生产BI报表就没有其他的使用了,显然我们的数据应用部分很单一。

所以,为了弥补这数据体系的最后一环,我们创建了【极成】谐音“集成”,国内的第一个【反向ETL】产品。极成可以作用在任何主流数据仓库或数据库上,将数据反向集成到各个业务依赖的工具、平台和SaaS中。

下面我们来具体了解下什么是反向ETL。

什么是反向ETL

从上世纪到现在,我们对待数据的方法几乎没有什么太大的改变,通常是:多个业务系统 -> ETL -> 中心存储。ETL是我们大家所熟知的,所以不做过多的阐述,如果不了解可以自行百度。

反向ETL,顾名思义,就是:数据中心存储 -> ETL -> 多个业务系统。

使用者通过反向ETL,可以将处理后的用户或产品数据从中心存储比如数据仓库或数据库中同步到业务所在的工具和平台上,比如纷享销客、微伴助手、网易互客这类CRM/SCRM上,或者腾讯广告、巨量引擎等广告平台上,再或者营销自动化平台上等。反向ETL应自带企业常用工具、平台和SaaS的直接集成作为数据目的地,和常见数据仓库/数据库作为数据源,将数据源和目的地两者之间同步需要的工程实现和维护从数据团队手里解放出来,让整个流程自动化,工具化。

数据体系的最后一环

就像我刚刚提到的,缺少反向ETL或者做的不够,就无法构成数据体系的闭环,所以我们会经常听到“数据团队找不到存在感”,”数据作用不明显“这一类的评语。

通常一个完整数据系统由以下几个大环节构成:

  • 数据集成:通常大家理解为ETL/ELT,简单来说就是将所有业务相关的数据从多个系统中集成到中心存储。
  • 数据存储:是一种中心化存储,保存被集成进来的数据。
  • 数据建模:数据的处理,指标生产都通过这一环节完成。
  • 数据应用:极成就是专门针对这一环节所产生的,所以极成也叫【数据应用自动化】。

image.png

反向ETL的常见使用场景

数据本身是为了辅助业务而生的,而【反向ETL】就是将处理完后的数据和业务深度集成,用来辅助业务,可以说场景是无限的,下面我们就举一些常见的场景:

赋能数据团队

反向ETL赋予数据团队跳过工程团队而直接支持业务的能力,数据团队可以直接用数据去自动化各种营销、销售、客服、金融等系统上的流程,用数据让其他人变得更高效。最重要的是当企业上下在数据上尝到甜头后,会更重视对数据的使用。企业数字化转型,一半靠工具,一半靠意识,我们相信,如果我们将工具的使用难度降到最低,一定会带动数据的使用,从而转变意识。


当下,我们的数据绝大多数还只停留在“用眼睛看”的使用层面上,但数据的使用绝不应该到此为止,如果你对反向ETL或数据应用自动化感兴趣,你可以留下联系方式,我们的核心成员会尽快与你联系