总结

对照组：不添加任何策略
实验组：不同的实验组添加不同的策略
      实验组可以有1个，或者有多个。

进行一段时间的ab测试，一般是10天15天左右。
流量如何分配？
   如果不影响用户的体验，则平均分配流量，
   如果不确定性很大，则分配小流量。（即我们不知道效果会怎样，可能会变坏，为了保守起见，先给小流量）
   
   
实验数据回收？
   如果是在社交网络中，cohesion，apl
   直播时间内营销广告的ctr，产品销售额。等
   

结论。


ab测试的步骤？
   1/分为对照组和实验组(不同策略的制定)
   2/流量分配
   3/实验数据回收
   4/结论

1/前言

ab测试是一种实验
实验的目的是：从多个实验组(每个实验组有不同的策略)中找到最好的。

2/ab测试的目的

AB Test 实验一般有2个目的：
1/判断哪个更好：例如，有2个UI设计，究竟是A更好一些，还是B更好一些，我们需要实验判定。
2/计算收益：例如，最近某短视频app新开发了一个直播功能，
                那么该直播功能究竟给平台带了来多少额外的DAU，
                多少额外的使用时长，多少直播以外的视频观看时长等。

我们一般比较熟知的是上述第 1 个目的，
对于第2个目的，对于收益的量化，计算ROI，往往对数据分析师和管理者非常重要。

3/ab测试的本质

对于一般的 AB Test 实验，
其实本质上就是把平台的流量均匀分为几个组，这里面包括对照组和实验组，
每个组添加不同的策略（对照组不添加任何策略）
然后通过一些指标的计算，例如：留存、人均观看时长、基础互动率等等核心指标，
来衡量哪个实验组的效果好，其实就是判定哪种策略效果好。
最终选择一个最好的组上线。
一般ab测试的时间周期是10天或者15天左右。

4/ab测试的一般步骤

5/对于不同的实验组或者对照组，如何进行流量分配

一般有以下几个情况：
<1>如果不影响用户体验
     如UI实验、文案类实验等，一般可以`平均`分配流量实验，可以快速得到实验结论

<2>不确定性较强的实验：
     如产品新功能上线，一般需`小流量`实验，尽量减小用户体验影响，在允许的时间内得到结论

<3>希望收益最大化的实验：
     如运营活动等，尽可能将效果最大化，一般需要大流量实验，留出小部分对照组用于评估 ROI

6/对ab测试实验的效果如何评估

我们以一个稍复杂点的运营活动实验为例，活动有方案 1、方案 2，同时为了量化 ROI，对照组没有运营活动。

需要回答几个问题
1.  方案1和方案2，哪个效果更好？
2.  哪个 ROI 更高？
3.  长期来看哪个更好？
4.  不同群体有差异吗？