AB测试

作为一款面向 ToB 市场的产品——火山引擎 A/B 测试（DataTester）为了满足客户对数据安全、合规问题等需求，探索私有化部署是产品无法绕开的一条路。

中国游戏行业发展现状及挑战 国内市场增长乏力 2021 年游戏销售收入 2965.13 亿元，同比增长 6.4%，增速相较于 2020 年减少近 15%。

本文整理自火山引擎开发者社区 Meetup 第四期同名演讲，主要为大家介绍了为什么要做 A/B 测试、火山引擎 A/B 测试系统架构及最佳实践。

频率派的AB Test统计原理，基于假设检验方法步骤，样本数的估算方法 > - 贝叶斯派的AB Test统计原理：观测数据->计算后验->做出决策 > - 工业界AB Test流程

前面一篇文章里有讲到因为项目需要，在对比了jmeter和ab以后使用了ab测试工具来测试服务器的性能，今天我们就来讲讲ab和jmter的并发模型，他如何保证能够模拟高并发客户端的场景的。

本文旨在提供一种结构化组织构建 App 的简单方法，以便你可以在使用分离测试时能获得整洁而可扩展的代码。 本文提供了一些技巧和示例，你可以把它当作实际应用下的指南。 使用分离测试（也称为 A/B 测试），我们拥有无限的测试可能性。但总的来说，我们可以按以下顺序对分离测试所需进行…

因此，打造一个服务于淘系乃至集团前端的标准化的简单高效的AB实验链路，是我们做这件事的初衷。本文将描述前端AB实验的设计及原理。 一条完整的AB实验链路到底需要什么？创建实验，工程接入，分流，实验数据回流...恩，是的，我还可以列一大堆，但是它们没有组织不成体系，就毫无意义，更…

产品的改变不是由我们随便「拍脑袋」得出，而是需要由实际的数据驱动，让用户的反馈来指导我们如何更好地改善服务。正如马蜂窝 CEO 陈罡在接受专访时所说：「有些东西是需要 Sense，但大部分东西是可以用 Science 来做判断的。」 说到 ABTest 相信很多读者都不陌生。简…

准备工作 手机和电脑需要在同一个局域网内 电脑上已经安装好ADB工具，可以是Mac或者Windows 开始 1. 打开手机端口 让手机在指定的端口可以接收到TCP/IP连接。 确保手机开启了usb调试

A/B 测试是一种对照实验方法，用来根据假设比较两个及以上版本之间的差别，其假设可以被证实或推翻。该测试会根据原有版本派生出特定的测试版本，以此来产生可靠的结果。当 A/B 测试在被测人不知情的真实场景中测试，其得出的结果才是最有效的。 要构建每个版本的代表性样本群体，A/B …

... 不可否认，这些是，但比较片面。因为这些都是站在系统工作人员角度通过技术手段让系统看起来不那么糟糕。除非用户不得不用你的系统，不然实际交付用户使用时仍然会有反馈体验不好的现象出现。 用户量比较大的产品进行版本大升级的时候，都会有很多人跳出来反馈新版本不好用，因为每个人对新…

这是一张德国马克，大家可以看到中间还有一个数学图表，它就是伟大的数学家高斯发明的正态分布，所以也叫高斯分布。 这是一张典型的标准正态分布曲线，Y 轴表示随机变量， X 与曲线围成的面积就是发生的概率。 它有什么含义呢？拿一个实际例子来说，当我们对中国成年男性做一个抽样，我们会发…

随着移动互联网流量的“增长红利”逐渐褪去，新的流量入口“小程序”也在很长时间内都会保持“克制”的状态，“野蛮生长”主导的互联网时代已经悄然离去。 但业务增长是每个企业亘古不变的刚需。在硅谷，“增长黑客”理论帮助谷歌等公司实现了持续的高速业务增长。这些科技公司的成功案例让“增长黑…

说明蓝绿部署金丝雀发布A/B测试参考说明蓝绿部署、A/B测试、金丝雀发布，以及灰度发布、流量切分等，经常被混为一谈，影响沟通效率。根本原因是这些名词经常出现，人们耳熟能详能够熟练地谈起，对这些术语的理

在日常的产品和运营设计中，经常会有很多直觉性的想法，通过一些经验分析或者竞品参考等猜想是不是某一种设计样式会更好或者某一种设计策略会更成功。 如果说设想的提出阶段属于事物的认知层面，那么设想的验证阶段则属于逻辑推理层面。 在告别了人口红利期后，现阶段互联网产品更多是在考虑用户已…

在系统开发的过程中，有时会遇到调用第三方接口，以及第三方接口升级的的情况。使用AB测试来完成对第三方接口的灰度发布以及流量回放的功能

2019年5月6日，美团点评正式推出新品牌“美团配送”，发布了美团配送新愿景：“每天完成一亿次值得信赖的配送服务，成为不可或缺的生活基础设施。”现在，美团配送已经服务于全国400多万商家和4亿多用户，覆盖2800余座市县，日活跃骑手超过70万人，成为全球领先的分钟级配送网络。 …

Flagger Linkerd Traffic Split(流量拆分) 本指南向您展示如何使用 Linkerd 和 Flagger 来自动化金丝雀部署与 A/B 测试。 前提条件 Flagger 需要

在项目迭代的过程中，不可避免需要进行项目上线。上线对应着部署或者重新部署，部署对应着修改，修改则意味着风险。目前有很多用于部署的技术，有的简单，有的复杂，有的得停机，有的不需要停机即可完成部署。本文将对目前常用的部署方案做一个简单的总结。

A/B 测试为一种随机测试，将两个不同的东西（即A和B）进行假设比较。当前 A/B 测试通过对比只有一个变量不同的同一产品的两个不同版本的表现来研究该变量的作用以及影响。