数据同步时间差导致数据丢失问题记录

70 阅读1分钟

背景描述:      

     双机房,A机房的数据,每隔10分钟,会经由X服务,同步到B机房。

    现有一个数据展示服务,需要采集B机房的数据,进行同步展示。

    数据展示服务每隔30秒,扫描B机房过去5分钟的数据,同步到数据展        ​示服务的表中。

    在同步数据的时候,发现有数据丢失现象。

产生原因:

    数据展示服务的数据采集时间间隔,小于,X服务的数据同步时间间隔,导致,数据同步过来时,数据展示服务对于5​分钟以前的数据,不再采集。

​原因详解:

    ​A机房,在6点产生一笔订单,订单的时间是​6:00;

    ​X服务,在6点10分,将A机房的数据同步采集到B机房,订单数据到B机房的时候,订单时间依旧是​6点;

    ​数据展示服务,在6点10分的时候,采集​数据的时间范围为:6点05至6点10分,而此时刚刚同步过来的6点的那笔订单,已经超过了统计范围​,最终导致数据丢失。

上述问题,经过了四个小时,才找到,在此做个记录,​希望以后可以避免。​