放量操作过程
问题1: 放量操作导致的用户交叉
问题描述
在进行AB实验时，一种常见的做法是逐步放量，即先将全部流量设置为对照组，然后逐渐增加实验组的比例。
具体来说，一些算法工程师在实验初期将100%的线上流量设置为对照组，随后逐渐减少对照组的比例，例如调整为95%对照组和5%的实验组。然而，这种逐步放量的方法会导致原本属于对照组的用户在后续访问时被重新划分至实验组，从而使得这部分用户同时出现在实验组和对照组中。
这种现象称为“用户交叉”或“用户混杂”，它违反了AB实验的基本原则之一——实验组和对照组应严格分离且互斥。用户交叉会导致实验组和对照组的人群构成不一致，进而影响实验结果的可靠性和可解释性。在统计实验周期内的各项指标时，如果用户在不同的时间段内被分配到了不同的组别，那么这种混淆将导致人均指标的偏差，从而影响对实验效果的正确评估。
尽管可以采用分阶段统计的方法来避免用户交叉的问题，即将流量达到实验组和对照组各50%之后的阶段视为真正的统计周期，并将这个阶段的开启时间作为实验的起点，但在实际操作中仍存在一定的局限性。
具体来说，这种方法的问题在于，一些实验组的用户实际上已经在实验正式开始之前就已经暴露在实验条件下。这意味着这些用户在实验正式开始之前就已经受到了实验组的影响，这可能导致实验效果的评估存在偏差。例如，如果实验组的用户在实验正式开始之前就已经适应了实验条件，那么在正式统计周期内，这些用户的表现可能会有所不同，从而影响实验结果的准确性和可靠性。
正确做法-规范的放量过程
初始化阶段
- 实验组和对照组：流量比例为0%，表示此阶段不向实验组和对照组分配任何流量。
- 流量缓冲组：流量比例为100%，确保所有流量均被缓冲，不直接进入实验组或对照组。
逐步放量阶段
- 实验组和对照组：流量比例从0%逐渐增加至50%，表示在此期间实验组和对照组的流量比例同步且等比例增长。
- 流量缓冲组：流量比例从100%逐渐减少至0%，确保随着实验组和对照组流量比例的增加，流量缓冲组的流量比例相应减少，直至最终完全释放给实验组和对照组。
- 特点：这一阶段确保了实验组和对照组的流量是从流量缓冲组中划拨的，避免了分流单元同时存在于实验组和对照组的情况。这意味着一旦用户被分配到实验组或对照组后，在后续访问中不会被重新分配到另一个组别。
最大功效期
- 实验组和对照组：流量比例固定为50%，表明在此阶段实验组和对照组各自接收50%的总流量。
- 流量缓冲组：流量比例为0%，表示所有流量已完全分配给实验组和对照组，流量缓冲组不再接收流量。
用户参与情况
- 用户划分：由于实验组和对照组是同时扩量的，不会出现原本对照组的用户再次来访时被划分为实验组的情况。这意味着每个用户在实验组和对照组的标记只会被标记一次。
- 统计过程：对于用户最初进入实验的时间的统计过程更方便。不需要再区分实验阶段，因为每个用户在实验组或对照组的标记是一次性的，并且在整个实验流程中保持不变。
实验周期的统计
- 统计周期：整个实验周期可以使用逐步放量阶段和最大功效期共同组成。这是因为实验组和对照组的流量分配在整个周期内都是明确且稳定的，确保了实验结果的可靠性和一致性。
- 用户参与情况：由于实验组和对照组是同时扩量的，不会出现原本对照组的用户再次来访时被划分为实验组的情况。这保证了实验组和对照组之间用户的划分在整个实验周期内保持稳定，从而可以使用整个实验周期进行统计。
通过上述规范的放量流程，可以有效地控制实验组和对照组的流量引入，确保实验数据的有效性和准确性。同时，这种流程设计也确保了实验组和对照组之间不会出现重叠的流量单元，从而保证了实验结果的纯净性和可靠性。
问题2: 非等比例扩量导致的辛普森悖论
在实验设计中，存在着大量的流量调整操作，特别是在实验组和对照组之间进行流量的一增一减操作。这些流量调整操作往往缺乏明确的计划和规则，在最大功效期，流量比例应该固定为50%。而实验过程中存在频繁的流量调整操作，这些操作往往导致实验组和对照组的流量比例不一致，即非等比例扩量。这种非等比例扩量的操作可能导致用户在不同阶段的分布发生变化，特别是当流量调整导致实验组和对照组中用户特征发生显著变化时。
辛普森悖论的例子
从10月19日晚上开始，算法策略的同学将实验组的流量从20%缩减到了10%，因此实验组UV对比对照组UV开始下降。10月20日和10月21日正好是周末，用户的人均点击比工作日高了一截（40+ -> 60+），对照组在周末的流量占比相对于实验组更高，也就导致了这四天累计分析时实验组反而不如对照组。
为了避免实验分析过程的辛普森悖论，可以采用以下解决方案：
- 等比例扩量：
-
- 在实验的不同阶段，确保实验组和对照组的流量以相同的百分比扩量。
- 避免在实验过程中突然改变流量分配策略，以减少流量调整带来的潜在影响。
- 避免非等比例流量调整：
-
- 尽量避免实验组和对照组流量一增一减的操作，以减少辛普森悖论的风险。
- 如果必须进行此类操作，应在数据分析时特别注意流量调整的时间点，并对数据进行相应的校正。
