浅谈大数据指标体系建设流程

政采云技术团队.png

曼路.png

一、什么是指标体系

1、指标体系定义

指标体系,就是指衡量企业业务状态的指标集合。在实际的工作中,在解决一个复杂的业务问题时,需要使用多个指标从不同维度来评估业务,也就是使用指标体系。指标体系是从不同维度梳理业务,把指标有系统地组织起来。简而言之,指标体系 = 指标 + 体系。

指标是指将业务单元细分后量化的度量值,它使得业务目标可描述、可度量、可拆解,它是业务和数据的结合,是统计的基础,也是量化效果的重要依据。

指标主要分为结果型和过程型:

  • 结果型指标:用于衡量用户发生某个动作后所产生的结果,通常是延后知道的,很难进行干预。结果型指标更多的是监控数据异常,或者是监控某个场景下用户需求是否被满足;
  • 过程型指标:用户在做某个动作时候所产生的指标,可以通过某些运营策略来影响这个过程指标,从而影响最终的结果,过程型指标更加关注用户的需求为什么被满足或没被满足。

体系是由不同的维度组成,而维度是指用户观察、思考与表述某事物的“思维角度”,维度是指标体系的核心,没有维度,单纯说指标是没有任何意义的。

维度主要分为定性维度和定量维度:

  • 定性维度,主要是偏文字描述类如城市、性别、职业等;
  • 定量维度,主要是数值类描述如收入、年龄等,对定量维度需要做数值分组处理。

2、指标体系生命周期

生命周期主要包含定义、生产、消费、下线四个阶段。针对整个生命周期要持续做指标运维、质量保障,同时为了提高指标数据复用度,降低用户使用成本需要做对应的数据运营工作。

指标体系生命周期.png

二、为什么搭建指标体系

1、理解业务现状

指标体系,可以让不同部门、企业管理者看到一个相对客观的数据,能够统一公司不同部门对业务现状的理解和认识。

2、根据分析主体,找出业务痛点

通过常用的指标体系建设方法论,例如 AARRR 海盗指标模型,能发现用户生命周期各个阶段,分析在用户拉新 ( Acquisition ) 、用户激活 ( Activation ) 、用户留存 ( Retention ) 、商业变现 ( Revenue ) 、用户推荐 ( Referral ) 每个阶段的业务痛点。

3、指导业务、推动业务

指标不仅可以进行结果指标预测、指标预警,还能进行异常数据归因,及早发现业务漏洞。

4、优化产品或业务逻辑

我们可以通过漏斗分析来观察我们各环节的业务状况,从而找出漏斗过程中折损较大、上下游业务不流畅的过程,做重点优化。

三、如何搭建指标体系

1、指标价值

技术目标:统一指标和维度管理,规范指标命名、统一计算口径,保证维度和指标的一致性;

业务目标:统一数据出口、覆盖多场景化应用;

产品目标:指标体系管理工具落地,让指标定义、生产、消费做的更流畅;

2、模型架构

06D6DE1F-6897-4A0F-8729-F5457667F62B (1).png

1)业务线

业务板块定义原则:业务逻辑层面进行抽象、物理组织架构层面进行细分,可根据实际业务情况进行层级分拆细化,层级分级建议进行最多三级分拆,一级细分可从公司层面统一规范确定,二级及后续拆分可根据业务线实际业务进行拆分。

2)规范定义

  • 数据域:指面向业务分析,将业务过程或者维度进行抽象的集合。其中,业务过程可以概括为一个个不拆分的行为事件,在业务过程之下,可以定义指标;维度,是度量的环境,如事件,呼单类型是维度。为了保障整个体系的生命力,数据域是需要抽象提炼,并且长期维护更新的,变动需执行变更流程;
  • 业务过程:指公司的业务活动事件,如:下单、支付都是业务过程。其中,业务过程不可拆分;
  • 时间周期:用来明确统计的时间范围或者时间点,如近 30 天、自然周、截止当日等;
  • 修饰词:指的是统计维度以外指标的业务场景限定抽象,修饰词属于一种修饰类型,如在日志域的访问终端类型下,有修饰词 APP 、 PC 端等;
  • 度量/原子指标:原子指标和度量含义相同,基于某一业务事件行为下的度量,是业务定义中不可再拆分的指标,具有明确业务含义的名称,如交易金额;
  • 维度:维度是度量的环境,用来反映业务的一类属性,这类属性的集合构成一个维度,也可以称为实体对象。维度属于一个数据域,如区划维度(其中包括省级、市级、区县等)、时间维度(其中包括年、季、月、周、日等内容);
  • 维度属性:维度属性隶属于一个维度,如区划维度里面的区划名称、区划 ID、区划省份名称等都属于维度属性;
  • 指标分类:主要分为原子指标、派生指标、衍生指标;
  • 原子指标:基于某一业务事件行为下的度量,是业务定义中不可再拆分的指标,具有明确业务含义的名称,如交易笔数、交易金额;
  • 派生指标:是 1 个原子指标 + 多个修饰词(可选)+ 时间周期,是原子指标业务统计范围的圈定。派生指标又分以下二种类型:

事务型指标:是指对业务过程进行衡量的指标。例如,政府采购交易数量、订单支付金额,这类指标需要维护原子指标以及修饰词,在此基础上创建派生指标;

存量型指标:是指对实体对象(如供应商、采购单位)某些状态的统计,例如入驻供应商总数、入驻社会中介机构总数,这类指标需要维护原子指标以及修饰词,在此基础上创建派生指标,对应的时间周期一般为历史截止当前某个时间

  • 衍生指标:是在事务型指标和存量型指标的基础上复合成的。主要有比率型、增长率、统计型均值。

3、指标体系建设流程

1)指标协作流程

协作流程.png

2)指标命名规范

  1. 原子指标 = 业务过程 + 度量

    举例:如订单表中的 pay_amt 字段,如果直接使用 pay_amt 支付金额,可能会和支付域中的支付金额重复,此处建议使用 trd_pay_amt 交易支付金额作为原子指标。

  2. 派生指标:派生指标 = 原子指标 + 修饰词 + 时间周期

    注意:修饰词放在后面,既可以保证派生指标对原子指标的继承性,同时从命名上可以见名知意;

    其中,修饰词有定义的使用修饰词进行定义,修饰词无定义的,使用三位数序号进行定义,牺牲可读性,确保唯一性。

    举例:如近 7 天订单支付金额: trd_pay_amt_7d

3)指标模型建设

建模流程主要是从业务视角对需求场景涉及的指标进行主题抽象,归类,统一业务术语,减少沟通成本,同时避免后续的指标重复建设。数仓模型主要采用 Kimball 维度建模方法进行构建,包括维度和事实;

数据模型 数据模型.png

模型定义规范

模型定义22.png

四、指标体系产品化

1、指标产品概述

指标体系涉及的产品集主要是依据其生命周期进行相应建设,通过产品工具打通数据流,实现指标体系一体化、自动化、规范化、流程化管理。因为指标体系建设本质目标是服务业务,实现数据驱动业务价值,所以建设的核心是通过工具、产品、技术和组织的融合提高用户使用数据的效率,加速业务创新迭代。

其中和指标体系强相关产品就是数据指标工具的落地,其产品的定位及价值:

  • 支撑指标管理规范从方法到落地的工具,自动生成规范指标,解决指标名称混乱、指标不唯一的问题,消除数据的二义性;
  • 统一对外提供标准的指标口径和元数据信息。

指标体系23.png

2、工具设计流程

1) 元数据管理

元数据管理.png

2)指标定义

指标定义.png

3)指标生产

指标生产.png

4)指标消费

指标消费.png

结束语

文章整体介绍了指标体系建设方法论和工具产品的建设情况,目前数据指标和开发工具已实现流程打通,与数据消费产品的打通后续会通过 DataAPI 方式提供数据服务,规划建设中。

指标体系建设工具已经在公司内进行推广使用,覆盖公司部分核心业务板块,指标体系产品也会持续迭代实践。

推荐阅读

Spock单元测试框架简介及实践

算法应用之搜推系统的简介

开源框架APM工具--SkyWalking原理与应用

Redis两层数据结构简介

浅谈电子标书加解密那些事V1

招贤纳士

政采云技术团队(Zero),一个富有激情、创造力和执行力的团队,Base 在风景如画的杭州。团队现有 500 多名研发小伙伴,既有来自阿里、华为、网易的“老”兵,也有来自浙大、中科大、杭电等校的新人。团队在日常业务开发之外,还分别在云原生、区块链、人工智能、低代码平台、中间件、大数据、物料体系、工程平台、性能体验、可视化等领域进行技术探索和实践,推动并落地了一系列的内部技术产品,持续探索技术的新边界。此外,团队还纷纷投身社区建设,目前已经是 google flutter、scikit-learn、Apache Dubbo、Apache Rocketmq、Apache Pulsar、CNCF Dapr、Apache DolphinScheduler、alibaba Seata 等众多优秀开源社区的贡献者。如果你想改变一直被事折腾,希望开始折腾事;如果你想改变一直被告诫需要多些想法,却无从破局;如果你想改变你有能力去做成那个结果,却不需要你;如果你想改变你想做成的事需要一个团队去支撑,但没你带人的位置;如果你想改变本来悟性不错,但总是有那一层窗户纸的模糊……如果你相信相信的力量,相信平凡人能成就非凡事,相信能遇到更好的自己。如果你希望参与到随着业务腾飞的过程,亲手推动一个有着深入的业务理解、完善的技术体系、技术创造价值、影响力外溢的技术团队的成长过程,我觉得我们该聊聊。任何时间,等着你写点什么,发给 zcy-tc@cai-inc.com

微信公众号

文章同步发布,政采云技术团队公众号,欢迎关注

政采云技术团队.png