假设检验 (Hypothesis Testing)

假设检验，就是要检验我们提出的假设是不是正确的，在事实上能否成立。

在统计中，我们很难获取总体数据（Population）。不过，我们可以取得样本数据（Sample），然后根据样本数据的情况产生对总体数据的假设。所以，我们所说的假设检验，其实就是检测通过样本数据产生的假设在总体数据（即事实）上是否成立。

在 A/B 测试的语境中，假设一般是指关于实验组和对照组指标的大小的推断。

假设检验中的假设是什么

在假设检验中的“假设”是一对：零假设（Null Hypothesis）和备择假设（Alternative Hypothesis），它们是完全相反的。

在 A/B 测试的语境下，零假设指的是实验组和对照组的指标是相同的，备择假设指的是实验组和对照组的指标是不同的。

推荐系统的案例中，把最开始提出的假设转化成假设检验中的零假设和备择假设：

检验有很多种，单尾检验和双尾检验，是从“假设”的角度来分类的。除此之外，常见的“检验”还可以根据比较样本的个数进行分类，包括单样本检验（One-Sample Test）、双样本检验（Two-Sample Test）和配对检验（Paired Test）。

单尾检验（One-tailed Test）和双尾检验（Two-tailed Test）

当两组样本数据进行比较时，就用双样本检验。比如 A/B 测试中实验组和对照组的比较。

当一组样本数据和一个具体数值进行比较时，就用单样本检验。

比如，我想比较极客时间用户的日均使用时间有没有达到 15 分钟，这个时候，我就可以把一组样本数据（抽样所得的极客时间用户的每日使用时间）和一个具体数值（15）来进行比较。

当比较同一组样本数据发生变化前和发生变化后时，就用配对检验。

比如，我现在随机抽取 1000 个极客时间的用户，给他们“全场专栏一律 1 折”这个优惠，然后在这 1000 个人中，我们会比较他们在收到优惠前一个月的日均使用时间，和收到优惠后一个月的日均使用时间。

当我们不知道总体方差时，使用 T 检验。当我们已知总体方差，且样本量大于 30 时，使用 Z 检验。

一个经验就是：均值类指标一般用 T 检验，概率类指标一般用 Z 检验（比例检验）。

样本量大的情况下均值类指标是正态分布，正态分布的总体方差的计算需要知道总体中各个数据的值，这在现实中几乎做不到，因为我们能获取的只是样本数据。所以总体方差不可知，选用 T 检验。

而概率类指标是二项分布，二项分布的总体方差的计算不需要知道总体中各个数据的值，可以通过样本数据求得总体方差。而且现实中 A/B 测试的样本量一般都远大于 30，所以选用 Z 检验。

这里的比例检验（Proportion Test) 是，专指用于检验概率类指标的 Z 检验。

**对于 A/B 测试来说，要选用双尾、双样本的比例检验（概率类指标）或 T 检验（均值类指标）。 **