《企业埋点体系搭建方法论及实践经验》白皮书,依托神策数据服务的 1000 余家企业客户的数据采集实战经验,全面展示 神策数据所沉淀的企业数据采集埋点的最佳实践,同时围绕企业在埋点过程中所遇到的困惑与苦恼,详解埋点体系搭建方 法论,从而真正解决企业数据采集困境。
一、理解埋点对数据分析的重要性
1、神策分析为何能实现灵活、实时、按需定义的自助式分析
了解过神策数据的朋友都知道,神策分析是一款通用性非常强、分析能力非常灵活的行为分析产品,在采集和分析两个端 都提供了非常完善的一体化解决方案,即使面临差异巨大的行业、业务、场景、都能通过可视化配置实现绝大多数的分析 需求。那么,神策分析是怎么做到这一点的呢?
其实,这里面的一个根源因素,是神策分析采用了抽象程度非常高的 Event-User 数据模型,依赖于强大的查询引擎和技术 实力,实现了分析过程直接实时查询明细表的方式,摒弃了根据业务需求按照固定的规则加工出的中间表模式 。 同时,在 产品平台化的解决思路上,神策数据将不同业务场景的需求,拆解成了分析模型和数据采集两个维度去解决,分析模型将 分析过程和逻辑做了封装,具体能分析的是什么,则由两个层面的因素解决:
● 有什么数据能被分析:采集了哪些数据、哪些字段维度、什么字段格式,本身决定了分析可用的原材料是什么,数据不 全、不对,就算是分析模型再强大也没有用,神策在采集方式的全面性、采集数据的灵活性、数据上报、数据测试支持等 环节上都做了大量的工作,以最大限度保证数据采集的准确性;
● 对数据做什么分析:数据有了以后,希望了解数据在什么时间段、什么统计口径、什么计算规则的表现,这一块由分析 模型来完成,神策目前已有 10 个可灵活配置的分析模型,基本能覆盖绝大多数主流的分析诉求自助、可视化配置同时支 持了丰富的平台化应用的功能,如自定义概览报表、指标四则运算、指标预警等功能,以满足数据分析价值最大化的衍生 应用诉求。
其实,不仅仅是神策这样的分析平台,除了简单看看活跃人数、次数这些整体的指标外,一旦进入到精细化分析的程度, 数据的全面性和准确性上存在的问题就会不断暴露出来,常常出现数据缺失、自相矛盾等各种问题。接下来我们看下在数 据应用中,常见的问题有哪些,主要的原因会有哪些。
2、数据分析中常见的问题
在企业数据应用过程中,业务人员经常会遇到以下问题,接下来分别来看这几类问题常见的原因有哪些,跟数据采集环节 有关的因素有多少。
问题 1:“这个数据跟后台差异很大,数据不准”
导致这种情况的原因会相对复杂一些,以下是常见原因,主要与数据的采集和统计定义较为相关:
统计口径定义不一样:对比的数据名字和含义类似,但实际统计方式上,存在统计范围和结构上的差异,因此对不上, 比如登录,一个包含指纹验证登录,一个不包含指纹验证登录等;
● 埋点定义不一样:对比的两个数据,埋点采集的是一个事情,但其实触发方式和范围不一样,如提交订单,有些是点击 提交订单按钮时触发上报,有些是获取成功提交订单结果后再触发上报;
● 采集方式带来的误差:前端采集一般会有一部分数据丢失,与后端采集结果会存在一定的出入,一般 5% 以内是正常现象。
问题 2:“想用的时候,发现没有我想要的数据”
导致这种情况的原因,通常有以下几类:
● 没有提数据采集需求:产品功能上线或者变更时,没有或者没有完整规整数据采集的需求,等产品上线有用的需要了, 才发现想要的数据并没有;
● 埋点不正确、不完整:需求提的粗,提完之后没有跟进需求确认和上线验收,导致技术实际采集的数据并不是自己真正 想要的,或者覆盖不全面,用的时候才发现没有真正想要的数据。
问题 3:“事件太多,不知道什么意思,用起来很麻烦”
导致这种情况的原因,通常有以下几类:
● 埋点设计的方式:埋点梳理的方式按照一个点、一个事件的方式提,没有进行结构化管理和抽象,这种设计方式下,点 击和页面浏览这两类事件就已经足够多了,加上自定义业务流程类事件,系统内常常是几百、几千个事件,业务人员基本 无法用;
● 埋点更新迭代的规则和维护:产品频繁更新迭代,对埋点的系统性规整和保持数据一致性也带来了很大的挑战,新增埋 点越来越多,但缺乏及时的规整和维护,事件会逐渐累计,且同类功能新旧埋点在使用上会出现断裂。
问题 4:“想分析一个问题,但是不知道应该看哪个数据、哪些指标”
这种情况通常有两大类原因:
● 数据定义不清楚:系统类的事件、属性、属性值,没有做对应的中文映射,业务人员不了解埋点方案的情况下,不知道 分别是什么含义,导致无从下手使用;
● 缺乏分析思路:缺乏业务分析需求和数据之间的关联思路,想不清楚分析什么数据、怎么分析数据是能解决业务问题的。
从以上常见的问题和原因来看,只有比较少是数据规整和加工能解决的问题,很大一部分问题都跟埋点本身有关,并且埋 点带来的数据本身可用性的问题,通常是根本性的问题,很难在后期通过其它方式弥补,必须从源头对数据采集和管理进 行规范管理。
3、根源性解决方案:把埋点采集当成独立的研发业务来对待
基于埋点的重要性,神策数据认为,埋点采集本身,应该被当成独立的研发业务来做,而不只是一个产品研发过程中的附 属品,属于可有可无、顺带做一下、优先级最低的任务项。下图是神策数据客户实施交付中的埋点业务流程,与功能类的 产品研发流程是一致的,只是在埋点的业务场景下,各个环节的操作规范和要求不一样而已。

此外,即使内部有这个业务流程建立起来,但要保证这个业务流程的执行效果,还需要两个非常硬核的操作方法和规范, 一个是正确的埋点设计及规划,一个是制定埋点流程规范体系。接下来我们会重点讲解这两个部分。

当然,这里也顺便提一个非常重要的观点,即埋点采集的成本问题。在神策数据对接的客户中,其实有不少客户都反馈过 埋点工作量和效率的问题。说实话,以神策数据服务 1000+ 客户的经验来看,以上两套体系搭建合理的情况下,除了首次 埋点接入成本会高一些外,实际后续的维护迭代的成本并不高。这里给一个数据给大家参考:埋点的任务量和研发的任务 量,比例应该不超过 1/10,一个持续 2 周开发周期的版本,实际上的埋点的投入应该在半天以内。神策数据咨询专家徐美 玲也曾介绍其之前所在的互金公司,这个数字大概是 3 个小时。
实际上,造成埋点成本高、效率低下的真正原因,就在于没有找到合适的埋点管理和落地方法,埋点的全面性和复用性太低, 导致整个埋点体系持续陷入拆东墙补西墙、每个采集的需求都要单独走完整的采集业务流程,沟通、验证的成本高,对团 队的整体消耗过大。这好比建造房子,夯实的地基会让上层承载的建筑更为稳健,每次只需要在稳固完善的体系下,做一 些装饰补充即可完成。若实际埋点的成本超过了以上的参考值,建议大家对照本文给的解决方案,详细评估下究竟存在哪 些问题,并推动问题的优化和解决,让埋点业务体系回归正轨。
免费下载《企业埋点体系搭建方法论及实践经验》白皮书:
方法一:关注本专栏,关注神策数据·用户研究那些事儿