AB实验基础-AB是什么？AB的价值？为什么使用AB实验？
前言
在互联网下半场竞争中实现科学增长，切实让AB实验发挥增长引擎的作用是应有之义。
AB实验是什么？
A/B实验的基本思想非常简单直接：顾名思义，我们在线上流量中取出一小部分（较低风险），完全随机地分给原策略A和新策略B（排除干扰），再结合一定的统计方法，得到对于两种策略相对效果的准确估计（量化结果）。
是不是解释的不很清楚，那我们更简短的说：
- AB实验，也叫随机实验、对照实验或控制实验。是一种「先验」的实验体系。
还不是很清楚，再简单的来说：
- AB实验，简单来说，就是为同一个目标制定两个或多个方案，让一部分用户使用 A 方案，另一部分用户使用 B 方案，记录下用户的使用情况，看哪个方案更符合对目标的假设。
AB实验价值
这一套基于小样本的实验方法满足了上述低风险，抗干扰和量化结果的要求，因此不论在互联网产品研发还是科学研究中，都被广泛使用，AB实验具有一定业务增长价值。
研发视角
- 先验性：采用流量分割与小流量测试的方式，先让线上部分小流量用户使用，来验证我们的想法，再根据数据反馈来推广到全流量，减少产品损失。
- 并行性：我们可以同时运行两个或两个以上版本的试验同时去对比，而且保证每个版本所处的环境一致的，这样以前整个季度才能确定要不要发版的情况，现在可能只需要一周的时间，避免流程复杂和周期长的问题，节省验证时间。
- 科学性：统计试验结果的时候，AB实验要求用统计的指标来判断这个结果是否可行，避免我们依靠经验主义去做决策。
产品视角
- 产品功能迭代：评判多种用户路径方案，可建立AB实验，观测转化漏斗指标，计算各环节转化率，将转化率最佳的方案全量发布至线上。
- 用户路径设计：产品核心功能迭代该采用哪一版方案？利用小部分流量进行互斥AB实验，在不影响用户体验的同时，从多种方案中找到最优解。
- UI&交互优化：UI或交互大改版，可通过AB，对比不同布局或交互方案下的点击、转化、留存等指标，找到最佳迭代版本。
运营视角
- 运营活动优化：运营活动的形式、运营位、落地页等，均可通过AB实验优化，持续迭代文案、素材、页面布局等要素，最大程度提高活动转化和付费留存。
- 推送方案择优：靠经验判断用户喜好难免有偏差，开启推送实验，科学地选择推送文案、落地页样式，还可对推送时机、平台、通道或提醒方式进行实验。
- 可视化编辑：用简单的拖移操作，即可完成页面图片和文本的替换或编辑，元素位移或新增等操作，并可直接圈选元素进行可视化埋点，无需编码。
等等
AB实验实例
Instead of saying "I have an idea," what if you said "I have a new hypothesis , let's go test it, see if it's valid, ask how quickly can we validate it." And if it's not valid, move on to the next one.
——Satya Nadella CEO, Microsoft
关于假设检验的这一段回答简练地描述了微软基于实验-分析-决策的数据驱动文化，事实上，微软也是世界上最早采用A/B实验评估每一个重大feature的科技公司之一，从bing的搜索排序到MSN的交互设计，数据驱动的决策无处不在，每年为微软规避大量风险并创造可观回报。
1、微软实验平台在bing上搜索求证
下图从bing这一侧面展示了微软实验平台同时运行的实验数量十年以来的井喷式发展。
这一套基于假设检验的实验方法并非科技公司首创，其影响远比我们想象得深远，可靠性也已经得到了长足的验证。比如，在医学界，每一种新型药物研发都会伴随着一系列动物实验和临床测试，这些实验的效果都会以类似但更为严格的假设检验方法进行评估，最终被认定安全有效的药品才会进入市场，造福患者。
2、某种放射性疗法在乳腺癌治疗中的有效性报告
下图所示就节选自某种放射性疗法在乳腺癌治疗中的有效性报告，红框中的95%CI和p就是假设检验中常用的统计术语，我们也会在今后的系列中介绍到它们。
3、日常升级迭代中使用AB实验
比如我们对我们产品做一些UI的升级改造，50%用户看到 A 版本页面，50%用户看到 B 版本页面，结果 A 版本用户转化率 23%，高于 B 版本的 11%，在试验流量足够大的情况下，我们就可以判定 A 版本胜出，然后将 A 版本页面推送给所有的用户。
在AB实验比较成熟的公司中，可能并不局限于只有A、B两个版本，可能会有ABC测试、ABCD测试，甚至是ABCDE测试。
有一些情况，可能会出现比较特殊的AB实验，比如说AAB测试，因为需要验证整个AB测试系统的准确度，需要设置两个对照组，所以叫AAB测试。
不管同时运行几个实验，我们都可以将它们统称为AB实验，英文为ABtest或ABtest。
4、互联网金融行业使用AB实验
比如，某互联网金融用户，在使用AB实验前，每周只能做1个AB实验，使用了AB实验服务后，大大提升了AB实验频率，每周跑大概40个AB实验实验。
当然，在其每周40个实验中，约有1/3的实验会取得转化率指标提升6%-28%的效果，剩余2/3的实验效果并不理想，未取得较好的数据指标提升。
通过这个例子，我们可以看出，大概2/3的产品设想并不符合预期，就是说转化率其实没有原始版本好。这个也是为什么需要AB实验的根本原因，凭借产品直觉去做产品决策，但2/3的改进并不是最优解。
为什么使用AB实验
最早通过实验思路获取增长的公司是谷歌。谷歌在2007年就建设了完善的A/B实验系统，之后实验的频率越来越高。现在谷歌每个月都会上线几百个A/B实验，这些实验帮助谷歌获得每个月2%的增长。不要小看这2%，实际上，谷歌通过它可以获得全年20%+的增长，增加超过10亿美元的营收。
这便是A/B实验的力量。
我们注意到：Facebook的CEO会亲自参与众多的A/B实验；Linkedin把A/B实验作为产品研发上线过程中的基本流程；在国内，以字节跳动为代表的互联网公司有着浓浓的A/B实验氛围……
为什么互联网行业越来越青睐A/B实验呢？
互联网行业走到今天，人口红利已然不在，大多数互联网产品野蛮生长的时期已经过去，紧接着到来的是技术红利的时代。在这一时期里，企业开始关注用户的整个生命周期，用数据驱动进行精细化运营，用实验的方式进行科学决策。
需要我们设计并坚持使用一套数据驱动的方法，使得我们可以以较小的风险对新特性进行评估，积极试错积累经验；最后，除了“好’或者‘不好“，我们希望这个方法也能够给出量化的结果。
利用大量的实验，企业能够不断提高自己的试错能力、提升试错效率、降低试错风险。从某种程度上来说，互联网企业的实力与其实施A/B实验的能力紧密相关。
更多阅读
最后
现在，我想现在你应该已经明白：AB实验对于增长团队来说是多么重要。但是A/B实验远没有这么简单，它有着复杂的原理和严谨的流程，其中秘密恐怕不能用一篇文章讲清。AB实验到底怎么操作？AB实验到底有哪些应用场景？AB实验中开实验的过程中有哪些容易踩的坑？等等
后续为你深度解析AB实验，敬请期待吧！
关于AB实验 你还想知道更多，欢迎关注「松宝写代码」并留言，如果你有兴趣，可以体验一下AB实验的DataTester
今天是火山引擎品牌发布会，20210610，直播地址：传送门
最新活动：【火种🔥计划】：www.volcengine.com/activity/da…
总之，我们希望通过AB实验可以在快速迭代的试错之路上，大胆假设、小心求证。
谢谢支持
1、文章喜欢的话可以「分享，点赞，在看」三连哦。
2、作者昵称：saucxs，songEagle，松宝写代码。「松宝写代码」公众号作者，每日一题，实验室等。一个爱好折腾，致力于全栈，正在努力成长的字节跳动工程师，星辰大海，未来可期。内推字节跳动各个部门各个岗位。
3、关注「松宝写代码」，是获取开发知识体系构建，精选文章，项目实战，实验室，每日一道面试题，进阶学习，思考职业发展，涉及到JavaScript，Node，Vue，React，浏览器，http，算法，端相关，小程序等领域，希望可以帮助到你，我们一起成长～
