用户数据中的幸存者偏差

5,127 阅读3分钟

幸存者偏差(Survivorship bias)是一种常见的逻辑谬误,意思是没有考虑到筛选的过程,忽略了被筛选掉的关键信息,只看到经过筛选后而产生的结果。

先讲个故事。

二战时,无奈德国空防强大,盟军战机损毁严重。于是军方便找来科学家统计飞机受损情况,以便进行改进。

军方一开始是要求在弹孔密集处加强装甲,想想没毛病啊,中弹多的地方理应加强防护。

可是这时候一个统计学家站出来 —— 实名反对以上答案!

应该在中弹少的部位加装装甲!

  • 因为没被击中要害部位的飞机才能返航,进入统计样本
  • 中弹多的部位依然返航了,说明这些地方并不是致命伤
  • 而弹孔少的部位中弹的飞机,都因为被击落而飞不回来

故事有美化,但论文还是真实存在的:

A Method of Estimating Plane Vulnerability Based on Damage of Survivors

一种根据幸存飞机损伤情况推测飞机要害部位的方法。

这位统计学家叫 Abraham Wald。


幸存者偏差的本质就是选择偏倚。

类比到互联网行业中,目标市场的每一个潜在用户都是一架飞机。

然后,每一个节点,包括但不仅限于一条糟糕的广告、一次不畅的沟通、一场流于形式的会议,都会是一枚枚子弹。

而穿越了层层阻碍成功注册使用你的产品的用户,就是安全飞回来的飞机。

那么,你收集到的反馈来自哪里?

答案已经不言自明。

你最容易得到反馈的人,恰恰是经常使用产品的人。

你最能知晓的产品问题,都是那些打在非致命伤上的弹孔而已。

当然,对于一个成熟的产品,用户量足够(飞回来的飞机够多)可以不用过于担心流失的用户,直接定义为非用户群即可。

但是对于一个新生的产品,这就是个大问题了。我应该在哪里加强我的装甲,我如何把有限的资源进行更优配置?

幸存者偏差直接影响的就是新产品的功能迭代。

功能迭代一般都从最容易收集到反馈的用户那里获得。

通过询问 the current top users 最希望在产品中看到哪些改进,从而构建新功能。

但是,这可能完全忽略了目标市场中那部分没有给你任何数据的人对你的产品不感兴趣的原因。

就像被击落的飞机无法告诉你它是怎么死的。

a potential user → the top user

如何应对?

  • 计算出目标市场中哪些部分没有反馈。比如说通过查看当前用户在目标市场所处的位置,以及我们如何获得这部分用户来反向推导
  • 想办法收集并联系我们曾经触及过但并未成功转换的用户(比如说访问过网站但并没有试用产品的人群)
  • 针对上图中的每个步骤制定相应措施,根据这些对产品不感兴趣的人群重新制定营销策略或者产品改进

让每一架飞机都尽可能飞回来。


Reference:

More:

我的知乎:@Aceyclee | 我的微博:@Aceyclee