A/B 测试杠杆:试验的 1% 与意想不到的 X%

397 阅读5分钟

数据驱动总是说起来容易,或者声称培养了一种人们被授权为变革者和疯狂的科学家的文化。

 

马克-扎克伯格的建议是“Move fast and break things”。

 

但问题是怎么实现?如何将增长心态融入你的组织DNA?

 

根据我的经验,最有力的方法是拥抱“1%试验”哲学。之前的几段创业公司经历中,我一直在实践数据驱动的方法——包括我当前的经历,近距离接触数据驱动方法。

 

数据驱动的方法是 Twitter 成功的核心,在其他敏捷、高度创新的企业中你也能看到类似的方法。

成为产品创新的核心

在 Twitter ,1%的实验为产品研发,工程师,营销或其他人提供了在1%的用户会话中测试新想法的机会,只要实验被精心设计结果能得到精确测量。

 

做的好,它会是主要的增长驱动因素,这是从一开始就改善Twitter用户体验的伟大想法,而不是自上而下的命令。

 

传统测试倾向于强化传统的孤岛和官僚作风,采取1%的方式是关于用户和员工的民主,将权利从决策者向下转移。

 

这种方式鼓励人们抓住主动性,共同努力,打破壁垒,个人的聪明才智与集体合作以最好的方式相吻合。

 

它强化了团结和共同责任,并使人们在创新和主动的基础上自豪地工作在一起。

 

这是你在 Netflix 这样的公司看到的,它促进了“自由和责任”文化,目的是吸引自我激励的工作者,他们期望不断测试新的方法来优化消费者价值。

 

Netflix 前个性化技术VP John Ciancutti 表示:“测试我们的产品想法,使我们不需要进行大规模的投入,就能尝试激进或不受欢迎的想法。这允许最好的产品思考者根据真实的客户价值建立记录,让我们从争辩中建立共识,并实现最好的想法,帮我们避免“or”的风险,因为我们可以测试许多方法来解决我们面临的最严峻挑战。”

1%过程

这是经典的科学方法,实验室中就采用这种方法。

网站数据分析
首先,建立明确的假设:被测试的具体理论或想法是什么?你认为什么是成功的结果?当你创建了假设,严格确保它以用户为中心。

 

这种同理心让你在测试想法的时候不会成为让用户或业务受益的旁观者。

 

定义想法的成功指标,什么是使用的最具体、最相关的指标,什么结果将证明其可行性或价值?

 

要明确的是:在 Twitter ,强制实验者锁定这些指标阻止了“cherry-picking”和“HARKing”,他们只挑选支持其假设的指标,甚至更改假设以适应结果。

 

通过构建一个工作来演示它,以及衡量结果的测试框架。理想情况下,不同的团队测试自己想法的时候,在整个组织中应用相同的框架,确保成本效益和一致性,

 

你可以创建自己的自定义测试框架,但也有很多现有的平台,如 Appadhoc。

 

学习和迭代:支持你的实验结果不会有任何有意义的指标变化的可能性很大。大多数实验都可能会得到这些结果,但这是学习的过程本身。

 

所以准备多次重复实验,你可能会发现初始想法的变量很有效,或不同的杠杆改变你的指标。都很好,因为这是所有的数据。

 

请记住:即使指标已经发生变化,也要继续测试。继续测试,直到发现推动你的想法的限制或约束。

 

Ship:如果你获得有意义的积极结果,把你的创新推销给组织,然后满怀希望地见证它被释放到更广阔的世界。

 

重复流程:创建更多的想法,并使用你从最后一轮实验中学到的来构建新假设。

实验案例

Twitter的1%实验中有一个叫“quote tweet”的功能,在创建初始假设之后,在确定最成功的变量——用户今天使用的特征之前,测试了一系列的变量。

 

Twitter 上还有其他的很多变化都是从1%开始,然后推给全部用户。比如从“favorites”(用星星表示)到“喜欢”(用心形表示),以及引入更大的创新,如状态。

 

测试几乎总会吸引一些用户或媒体的愤怒或混乱,但创新的基本规则就是:有人会抱怨它。这种负面反馈是好的,能帮你了解变化的极限。

灌输1%的心态

那么在组织中培养1%的实验心态的关键是什么?

承诺:

如果你在软件或服务行业,创新是一种生存工具,你的团队是最好的创新资产。所以赋予他们1%的实验哲学作为生存和繁荣的一种方式

设置预期:

确保每个人知道在实验中采取手段是他们工作描述的一部分

代表团:

把创新的权限下放到整个团队

教育:

确保他们接受了正确的方法培训

工具:

给他们需要的资源和设备

承认:

奖励人们进行实验(即使它不成功) – 并将这种文化传播给他人。

 

准备好以AB测试用1%的流量撬动X%增长了吗?

 

本文作者:SparkPost CMO Josh

 

本文由吆喝科技编译自:http://www.cmswire.com/digital-workplace/experiment-your-way-to-data-driven-success/