在日常的产品和运营设计中，经常会有很多直觉性的想法，通过一些经验分析或者竞品参考等猜想是不是某一种设计样式会更好或者某一种设计策略会更成功。
然而，直觉的判断通常都偏感性，跟思考者的工作经验和审美观更相关，我们觉得用户想要的东西是否真的是用户想要的呢？
如果说设想的提出阶段属于事物的认知层面，那么设想的验证阶段则属于逻辑推理层面。
如何有效的对设想进行验证？
在告别了人口红利期后，现阶段互联网产品更多是在考虑用户已固定的使用习惯的基础上，通过科学严谨的方式完善设计体验，这个阶段数据验证十分重要。
而A/Btest就是一种可以快速对比验证数据的有效手段。
什么是A/Btest？
方法概述
简单来说，A/Btest在产品优化中的应用方法是：在产品正式迭代发版之前，为同一个目标制定两个（或以上）方案，将用户流量对应分成几组，在保证每组用户特征相同的前提下，让用户分别看到不同的方案设计，根据几组用户的真实数据反馈，科学的帮助产品进行决策。
适用场景
广告下载页（可通过测试提升下载的转化率）
运营活动H5（可通过测试提升下载或页面分享的转化率）
APP用户体验（可通过测试进行产品可用性验证及功能点击率的转化提升）
等等一切希望通过数据验证不同假设方案的可行性的页面
可测试内容
视觉设计样式（例：按钮颜色、插画内容）
产品文案内容（例：立即下载/立即使用）
页面布局（例：列表布局/卡片布局/瀑布流布局）
交互体验（例：长按删除/右滑删除）
产品功能
推荐算法（例：在用户已连WiFi情况下推荐网络加速/在用户已连WiFi情况下推荐新闻资讯）
等等一切可以拆分不同方案进行对比的内容
但在实际操作中远没有这么简单，如何寻找A/Btest的测试点？如何制定有效的A/Btest计划？如何判断设计方案是否与目标数据相关联？这些都是接下来会一一为大家解析的。
如何进行A/Btest？
第一步：明确测试目标（目标要明确可以直观量化，颗粒度要尽量细）
测试目标大致可以分为两大类，他们的来源也各不相同。
简单目标：例如广告页面的点曝比、新上线功能的UV，这类目标通常来源于产品需求，或功能上线后的数据反馈，是比较直观的有明确修改点的。
复杂目标：它可以是来源于项目的KPI，例如新手期的激活、成熟期的商业化、流失期的用户回流率等等。但具体ABtest的点必须是要细化到可以直观量化的，比如新手期的激活引导的点击率，成熟期的商业化广告点曝比，流失期的用户召回push的点击进入率等等。这里以WiFi管家的用户留存为例，解释下如何寻找复杂目标是如何被量化拆分更精细的颗粒度的。
第二步：找到关键提升点（拆分流程中可提升的指标）
折损点可以通过后台漏斗数据分析等发现，对用户使用时的流程步骤进行拆分，看看流程中有哪些关键的转化节点是有提升可能性的，或者哪些点是可以和测试目标直接相关联的。
如在提升广告页面点曝比的时候我们可以分析当前广告页的各种元素，以及他们可能会和点曝比的相关性，例如：广告主打的宣传文案和广告整体的画面设计感。
而在提升用户留存的案例里面我们发现有超过半数的用户无任何操作离开，继续深挖各漏斗节点发现所有新用户中有很多的新用户都是没有开启权限并且无法对页面进行任何操作的
第三步：设计实验样本（排除无关因素和实验样本间的明显差异）
设计实验条件的时候要充分分析问题的影响因素，排除一些和结果没有明显关联的因素，设计实验样本时需要结合经验避免一些很明显的差异。
交叉型样本：
找到可能对现有版本的实验目标相关的影响因素并一一列出，通过交叉的方式进行重新组合产生实验样本，此时A/Btest的实验样本为旧方案+A方案+B方案
定量型样本：
固定元素不变的情况下调整其他可能的影响因素，查看实验结果，此时A/Btest的实验样本为旧方案+A1方案+A2方案
以WiFi管家为例，我们在触发条件相同的情况下对于资讯Push（同类别同文案），设计不同的触发器：图片or按钮，测试图片和按钮对于用户的点击欲望是否会有影响。
改善型样本：
我们可以通过走查线上版本定位体验问题，提出改进假设进行优化设计，此时A/Btest的实验样本为旧方案+新方案（新方案确定好大方向后又可以继续进行单点的优化测试）
以WiFi管家为例，我们的目标是提升用户的页面操作率从而达到提升留存的作用，设计对应数据折损点找到关键界面，结合用户画像和产品操作功能排名制定设计策略
1.【新用户】功能激活的引导
2.【无权限用户】进行开启权限的引导
3.【无WiFi用户】进行其他功能挽回
第四步：上线测试（尽可能的降低所有实验样本的测试环境差别）
精准的A/Btest流程和注意事项：
不同版本方案并行（同时）上线试验，尽可能的降低所有版本的测试环境差别
科学的进行流量分配，保证每个实验样本的用户特征相类似
让用户展现对不同版本的真实使用体验，产品则应实时关注各版本的数据表现，并根据数据反馈及时调整试验流量
在分析实验整体数据的同时，需要从多个维度细分考量试验数据结果，除了当前A/Btest的测试点埋点以外还需要注意其他可能被影响的环节
非精准A/Btest流程和注意事项：
因为并不是每个项目都可以进行A/Btest，有些是因为项目并没有支持A/Btest的能力，有些是因为想要发布的平台并不支持严格意义的A/Btest（比如电子市场），但又想看看不同设计样式对于数据的影响那么就尽量遵循以下原则进行测试
尽量保证试验版本的用户特征相类似，如渠道来源相同
尽量避开节假日等会对数据波动造成短期较大影响的时间段
不同实验样本保证同样的实验时常，尽量取上线后数据较为稳定时段的平均值
第五步：回收数据并记录（得出最优方案后全量下发）
最后建议设计师自己整理自己的数据记录表格，记录下自己的设计策略和方法，培养解决问题的思维方式以及做好数据闭环的良好习惯。
关注【IVWEB社区】公众号获取每周最新文章，通往人生之巅！