背景描述:
双机房,A机房的数据,每隔10分钟,会经由X服务,同步到B机房。
现有一个数据展示服务,需要采集B机房的数据,进行同步展示。
数据展示服务每隔30秒,扫描B机房过去5分钟的数据,同步到数据展 示服务的表中。
在同步数据的时候,发现有数据丢失现象。
产生原因:
数据展示服务的数据采集时间间隔,小于,X服务的数据同步时间间隔,导致,数据同步过来时,数据展示服务对于5分钟以前的数据,不再采集。
原因详解:
A机房,在6点产生一笔订单,订单的时间是6:00;
X服务,在6点10分,将A机房的数据同步采集到B机房,订单数据到B机房的时候,订单时间依旧是6点;
数据展示服务,在6点10分的时候,采集数据的时间范围为:6点05至6点10分,而此时刚刚同步过来的6点的那笔订单,已经超过了统计范围,最终导致数据丢失。
上述问题,经过了四个小时,才找到,在此做个记录,希望以后可以避免。