思路1:常规业务报表
关键词
- 打点。一个可以产生一条日志的访问记录,需要包含扩展字段的功能
- 实时流。实时打点、实时产出报表
- 离线流。实时打点、离线处理数据,定期产出报表
流程串联
- 客户端、前端、server,请求一个http接口,请求中携带提前约定好、可以区分业务的标识,上报到数据服务端。
- 数据接受到之后,可以有两种处理方式。
- 1.实时处理。收到请求后,调用服务立即处理,筛选出想要的结果入库存储
- 2.离线处理。定期去获取收集到的数据,统一进行筛选过滤处理,入库
- 访问平台,读取结果库,进数据展示。
思路2: 小流量方案
CUID-> 日志 -> 小流量 -> 数据展现 -> 实验结论
关键词
- 日志。就是正常日志打点
- CUID ,表示独立设备号,跟是否登录无关。
- 小流量,Sid,通过数字区分实验,eg:实验组1:123_1 ,实验组2:123_2,对照组:123_0
流程串联
- 页面业务通过日志有固定指标。
- 小流量平台可以获取到所有用户的CUID,圈定预期比例用户,通过APP启动接口下发通知APP是否命中实验。一方面业务前端打点额外上传小流量号信息,以标识中了哪个小流量;另一方面server通过小流量号区分逻辑下发数据,区分正常用户和命中实验的用户。
- 对海量日志数据进行分析,根据实验号,筛选同一个实验中不同指标的数据对比,通过设定阈值,判定实验效果,给出实验结论。
思路3: 监控报警值班机制
日志 -> 数据监控 -> 报警 -> 值班
流程串联
通过思路1中实时流思路,收集到想要数据,然后定义好指标,定义好容错范围,一旦超出容错范围,通过邮件、短信、电话、即时通讯等形式进行通知。同时可以产生一条报警记录,关联值班同学,值班同学可以在平台上处理每一条报警记录。