参考:
1、阿里方案: 头一回见!提升10倍效率,阿里给业务校验平台插上了AI的翅膀 mp.weixin.qq.com/s/kwbfg5J2r…
2、美团方案: tool.lu/es_ES/deck/…
随着业务规模的扩张,复杂的分布式系统架构下,难免会出现远程调用失败,消息发送失败,并发bug等等问题,这些问题最终会导致系统间的数据不一致,导致用户体验受损,用户利益受损,对平台来说就是产生资损。
BCP就是在这种背景下产生,用来帮助业务系统实时校验线上的每一笔数据,填补数据质量领域的空白。BCP主要实现以下4个目标:
- 高实时性的发现线上业务脏数据或者错误逻辑,第一时间发现并及时通知技术保障,而不是等客户反馈。
- 方便的接入各种业务规则,通过脚本规则编写的方式,让各应用快速接入平台。
- 整合订正工具,形成规范的脏数据订正流程。
- 业务上线的实时监控,新上线业务可以很方便的进行校验。
整体的数据流: 1、数据采集和数据清洗 2、基于规则计算核对 3、规则执行失败场景发送告警通知,业务团队进行处理。
--- 未完成,待继续梳理
数据采集:Binlog日志和POD日志
POD日志需按一定规则打印(比如统一|分割),支撑后续数据清洗方便 数据清洗 规则定义: 1、日志解析规则, 2、模型定义 3、规则计算&执行策略 规则核对
BinLog和POD日志 -> 采集器 -》 Kafka 集群 ---》Flink消费&数据清洗 -》Redis缓存清洗后模型梳理&数据库写入后续核对任务