一.大数据是什么?
1.基础的业务数据流程:采集(获取数据) → 加工(处理数据) → 存储(持久化数据) → 输出(数据服务化)
2.特点:大,数据量大;
3.大数据流程:海量数据采集 → 海量数据加工 → 海量数据存储 → 数据能力服务化
- 海量数据采集:埋点,业务库,外部获取
- 海量数据加工:实时(spark,storm,flink),离线(hodoop,etl)
- 海量数据存储:hive,hbase,es
- 数据能力服务化:分析,特征(case:用户/门店画像)
二.如何赋能业务?
1.分析能力,更精细化的业务流程跟踪,结果分析,指导业务调整;
2.基础能力使用:特征体系(case:用户/门店画像体系);
三.埋点体系
1.为什么要做埋点?
埋点是一个记录/跟踪/日志:什么事情,在什么时间,什么地点,被谁,因为什么样的原因做,如何做,做的结果是什么;
通过数据分析,发现问题,产生结论;
备注:这里的发现问题不是指app内异常或服务异常的埋点,这部分信息应该走日志报警流程;这里的问题是指在业务层面的缺陷或问题;
方式 | 执行说明 | 存在的问题 | 优势 |
---|---|---|---|
传统的流程跟踪(操作日志) | 一个完整的业务流程,可以拆分为多个子节点,对于我们关注的子节点和维度,触发时做日志记录或上报的动作,达到数据跟踪的目的 | 各业务线标准不统一实现方式不统一分析方式不统一“数据孤岛”,各业务线数据打通及互相赋能的难度极大 | 研发&产品&业务人员可以直观感知数据易于理解,易于使用 |
埋点 | 将业务流程中的节点和维度固化,提供统一的数据标准,统一的实现方式,统一的分析能力 | 难理解&难使用 | 数据标准统一实现方式和接入方式统一分析能力统一降低各业务线数据打通及互相赋能的难度 |
2.什么是埋点?
数据标准统一:
- 事件:
- 公共事件
- 自定义事件
- 参数:
- 公共参数
- 自定义参数
实现方式和接入方式统一:
-
实现方式:
-
统一数据入口
-
统一数据链路
-
统一清洗存储
-
接入方式:
-
前端sdk
-
后端sdk
分析能力统一:
- 埋点自定义查询分析基于统一的存储和sql
- 通用能力标注化:事件分析,漏斗分析,留存分析,路径分析,归因分析
降低各业务线数据打通及互相赋能的难度:
- 淡化业务线及业务系统概念,统一的数据链路
3.怎么埋点?
业务流程梳理拆分为原子节点
定义当前节点的含义,即埋点事件
确定当前节点的核心信息,即埋点参数
接入埋点SDK
在各节点的操作中进行上报
转发【by乾隆】