B站众测模式的探索众所周知，B站是个拥有浓厚社区氛围的视频网站，而拥有高位活跃度及粘性的头部用户更是我们弥足珍贵的财富。

背景

众所周知，B站是个拥有浓厚社区氛围的视频网站，而拥有高位活跃度及粘性的头部用户更是我们弥足珍贵的财富。在互联网普及的信息时代，这群年轻且有活力的用户，即便不是人手一本《人人都是产品经理》，但对诸如世界上最好的语言是什么这类的问题，大家也能左右互搏打上三百回合。所以针对这批有对应知识储备或足够热忱的用户，我们开始了对B站众测模式的探索，众测希望实现的愿景是利用头部用户对产品的了解和兴趣，借助他们生活中的碎片化时间，在多种更贴近于用户的测试环境下对产品进行多方面的测试，从而根据这些测试结果优化出更符合用户需求的产品。

困境

测试资源的有限

测试人员在有限的测试时间里，需要沟通新需求，设计测试方案，执行测试用例，回归研发解决的问题等等，在密集的发布节奏下，决定了有限的专业测试人员对测试内容是有取舍的，一般采取的方案是把80%的时间投入在验证新功能和产品的核心功能上，从而会忽略一些我们自认为的“不重要”测试项。

终端环境的多样

用户终端的多样性决定了几乎所有App产品都不可能做到覆盖完全，最常见的有网络、系统、机器品牌等，一旦出现问题，发布后影响的是该类环境下的所有用户。

测试人员使用场景与用户场景的不一致

测试人员在测试时希望尽可能去模仿用户使用，以覆盖到更多使用场景，以用户的角度去测试，但是通常情况下，很多时候测试结果和发布后用户的反馈是不相符的。比如性能测试，我们制定了各种方案保证产品的快和流畅，但发布后还是有不少用户反馈慢和卡。用户数据的复杂性是任何发布前的实验室数据无法完全模拟到的。

为解决以上问题，需要实现两个需求，第一，为了更贴近实际效果，我们需要一批“真正的用户样本”（而不是几个测试人员）做测试；第二，区分于论坛等渠道，我们希望这批用户有更积极的反馈动力，能主动帮助我们快速获取产品的短板，优化和提升产品质量。众测模式的出现恰恰满足了这个需求。众测用户分散在全国各地、各行各业，他们在生活中就是我们产品用户里最普通的一份子。但另一方面，不同于普通用户，他们充满探索精神，乐于尝试新产品，而且在众测奖励制度的推动下，他们乐意主动反馈使用过程中的问题。

开启众测前的调研

其他众测平台调研

市面上无门槛，面向纯用户的众测平台大多数为手机厂商自带的测试社区，奖品一般为反馈有效问题/参加任务获取积分，最后可兑换实体奖品等，但社区向的缺点也较为明显：不是每个反馈能得到回馈，反馈人数较多的案例才会有回复，并且有泄漏风险。在众测过程中，泄漏风险对我们是非常致命的。

而有门槛，面向有一定代码能力用户的众测平台一般是独立平台/小程序。优点为页面简单、操作页面有详细的使用说明、任务指引。但每一个任务要下载一个安装包，任务太多的情况下成本较高，需要用户填写的东西较多，一定程度上会打击用户的积极性。

屏幕截图 2024-11-21 113811.png

用户意愿调研

我们先随机抽选了部分外部用户，发放了调查问卷，询问他们对B站调研的意愿。如下图所示，有不少用户都给出了比较细分的参与功能，说明对B站还是接触很多滴～

同时我们进一步抽选了部分高意愿的用户，采取自愿填写问卷的形式，问卷内容主要围绕着：

你是否愿意签订保密协议？
你觉得要怎么样的众测形式会吸引你报名？

其中98%的人都选择了愿意签订保密协议；而另外一个问题用户基本提出了以下诉求：希望反馈后可以及时显示跟进情况以及有单独的平台/工具、自己可以尽量少填写各种信息。

众测模式的主要难点、风险及对策

实施和管理的难点及对策

需求理解难

众测模式通常吸引来自广泛背景的参与者，这些参与者可能具有不同的技术水平和经验。一些参与者可能是专业测试人员，对于测试流程和标准有深入的理解，而另一些可能是普通用户，对于测试任务的专业性要求理解较少。这种多样性可能导致参与者对测试任务的理解存在差异，有些参与者可能会对需求描述感到困惑或不确定如何正确执行任务。此外，任务描述和要求的清晰度也是一个关键问题，复杂或模糊的任务描述可能会导致用户误解任务目标，从而导致测试结果的不一致性。所以众测任务需要提供详细的任务说明，比如包括示例，教程等，以帮助参与者更好地理解任务背景和要求。另外在语言描述上也有一定技巧，经过多次试验，我们发现为确保用户能够理解具体的需求内容，描述必须直白易懂，不出现内部代号词汇等。毕竟如果你说“story环境下，上半屏长按弹出现有选项浮层弹窗”用户会一脸黑人问号，而当你说“竖屏视频下，长按屏幕上半部分出现播放选项弹窗”用户会说好的，明白。

沟通统筹难

在众测模式下，沟通统筹往往涉及到运营人员与大量参与者协同沟通工作，这可能带来一系列的挑战，最初我们选择了大群招募，小群发布的方式，但随着用户数量以及众测任务的增多，我们发现在统计报名人数、发放众测包、收集反馈中会耗费大量的人力。尤其众测模式要求对用户反馈要有及时的响应以调动起用户的积极性，为了解决这些问题，众测模式需要依赖智能化的管理系统和任务发布工具，以简化任务分配流程和反馈处理流程，建立透明而高效的任务管理，能够帮助众测运营人员更好地了解每个任务的进展情况，为此我们上线了联动众测平台的小程序，支持用户报名、下载、反馈一体化。省去了繁琐的沟通及大量人力耗费，确保众测在庞大参与者基础上能够高效运行。

质量保证难

众测模式另外一个重要问题是无法对众测人员进行有效的监控，由于参与群体的广泛性，用户反馈的问题质量会参差不齐，所以为了保障众测的质量，我们通过问卷调研的方式，招募了一批有一定问题定位/代码能力的、或使用特殊机型的热心用户来参与定制化招募的模块化测试。我们也把众测任务拆分成了两大块：自由测试与支持定制化招募的模块测试。自由测试只要报名即可参与，而定制化测试针对业务方要求有条件的筛选部分用户来进行测试。目前每个任务结束后我们会从下面几个维度进行分析，定期复盘有助于我们及时调整策略，也能帮助我们获取更高质量的反馈。

1）需要招募人数以及实际报名人数

2）任务期间内总反馈数以及认定为有效的反馈数

3）在功能正式发布后一周，线上是否有相关BUG没有在任务期间被发现

从历次众测结果来看：在众测模式下用户对运行时的设备性能、运行时的明显BUG及UI显示异常都有感知，有明显的拦截能力。

考核激励难

众测模式下，对用户考核激励同样面临着挑战，主要原因在于参与者的动机和贡献程度各不一样，由于众测吸引了大量非专业参与者，如何有效激发其积极性，提高参与度，并保持对任务的高质量反馈成为一个复杂的问题，在我们的众测模式下，采用的一种激励措施是根据用户发现问题的严重程度赋予相应的积分，为其提供自主兑换商品的机会。这一激励机制不仅能够识别并奖励那些发现并报告重要问题的参与者，还鼓励了用户对任务的深入参与和高质量反馈的提供。我们将不同性质的线上问题严格分类并公示、在某一版本/任务中积极参与的用户，我们也会在群内公开表扬并赠送额外积分以示鼓励。

通过多次问卷调查的结果来看，后续我们也考虑在奖品池中增加更多可满足用户情绪价值的“非卖品”。

有奖也有罚，如遇恶意反馈/多次报名但不参加的用户，我们也会根据严重程度加入黑名单并公示，后续拒绝一切众测申请。

众测模式的主要管理风险及对策

信息泄露风险

众测模式下，信息泄漏风险是一个显著的关切点，众测任务涉及到未发布的敏感信息或者其他机密数据，在用户测试过程中如果采取不当的做法，很可能会面临信息泄漏的风险，所以运营人员必须在信息泄漏风险上做好考量。所以在小程序上线时，为了预防泄漏风险，我们同步上线了用户须悉知/同意的保密协议。包括但不限于：1)众测的存在和内容；2)我们提供的任务信息、产品信息、功能信息、测试结果、反馈的问题。不得将信息以书面、口头、数字媒体或任何其他形式进行披露。另外，在用户报名某一众测任务后，也须通过人工审核才能向用户展示任务详情及下载地址。以下为用户第一次进入小程序的显示页面，只有报名成功且同意保密协议的用户才能够看到对应的详细描述。

系统安全风险

APP在新开发的功能未上线时，暴露给众测用户使用可能会导致系统安全风险，包括数据泄漏，出现安全漏洞或者不安全的接口等，针对可能引发上述问题的测试任务，为了规避此类风险，运营人员可以定义允许访问的合法用户(配置白名单)，这种方法有效地减小了系统受到未经授权用户访问的风险，只有事先列入白名单的用户才能参与定制化的众测活动，从而降低了系统受到恶意攻击或滥用的潜在威胁。

政策监管风险

根据《常见类型移动互联网应用程序必要个人信息范围规定》，我们在上线保密协议时同步上线了信息授权申请。授权中向用户说明了众测小程序我们如何收集、使用、保护用户的个人信息，以进一步保障双方的信息安全和提供更便捷的服务。保证反馈时填写的个人信息均是用户自愿提供。用户可以不授权或不使用相关服务，我们将不再收集、使用与该服务相关的个人信息。

众测类项目的平台化管理

标准化和平台化

标准化

基于众测的发布流程

众测现在已经成为应用发布流程中重要的一环，在功能开发完成并合入总包后，运营人员通过众测平台向招募到的众测人员提供特定众测包，众测人员在安装使用后将遇到的问题反馈到QA进行确认和跟进，为功能正式发布做质量兜底，众测在流程中的位置如下图。

众测任务收集和分发的流程介绍

众测任务采用业务方主动申请的方式进行收集，业务方可在平台上向众测运营人员提供需求标题，需求内容，招募人数以及对特定机型和特定系统的要求，并且支持定制化众测，可以只选择对相关业务有偏好的用户，要求用户严格按照步骤或测试角度进行试用。

测试任务的分发，我们对于海外用户和国内用户定制了两套平台，运营人员可在平台上配置并发布任务，国内众测用户在QQ小程序上可以报名并领取任务，而海外众测用户则是通过Discord(海外即时通讯软件)报名并领取任务。

测试任务的类型，目前有两种方案，第一种方式是自由测试，即采用每周定时投放定制化总包，使所有众测人员都可以参与，这种测试方式门槛低，参与度高，这种大批量众测人员参与的方式可以使部分页面崩溃问题在上应用市场前被排查出来；第二种方式就是基于业务方的申请，不定期的召集选取20人左右参加，这种测试任务一般对机器覆盖，测试人群，运行环境有要求，运营人员通过提供更详细的功能要求和备注，更好引导特定用户来参与众测，针对性强，白名单模式适合所有平台用户。

收集跟进问题，用户向运营人员反馈问题后，由运营人员作初步筛查，并将有效问题通过Tapd指派到对应研发。

发放积分，及时安抚用户，并根据问题严重程度向用户发放积分，并定期举办活动增加用户粘性，众测的积分体系可以激励用户积极领取任务和反馈问题。

平台化

平台技术架构

众测平台采用了比较典型的web平台架构：UI上区分用户访问界面和后台管理界面；对应服务端设计为三层，路由层负责请求的初步校验和处理，业务层实现任务、商品、反馈、用户相关的各项操作，数据层负责和数据库服务及文件服务的交互；同时贯穿各层有日志记录和权限控制功能，以及利用异步消息机制来触发各种关联状态变更处理。

管理平台

如下图，国内众测与海外众测管理平台主要为运营人员提供管理测试任务及众测人员的功能，运营人员可以在平台上新建任务，包含任务标题，任务描述，测试版本，报名时间，测试时间，上传安装包等操作。创建成功的任务，可以在任务列表中查看，该页面中可以审核报名，导出报名结果，以及处理反馈。反馈的内容可以通过任务ID一键直达反馈列表，运营人员在反馈列表中可以处理这些反馈。

**
**

QQ小程序

对于国内应用，针对用户侧我们开发了对应的QQ小程序，小程序主界面对应展示了运营人员在管理平台配置的任务，用户可以自由报名，用户报名时需要提供自己的uid号和QQ号信息。在报名成功后，用户可以获取到安装包，如果发现问题，可以向运营人员及时反馈，包括设备信息，问题描述，以及截图或视频等。

海外游戏众测

以上针对国内用户的众测模式，取得了不错的成效，同时为了响应海外游戏业务方的要求，基于海外即时通讯软件discord开发了针对海外用户的游戏众测平台，海外众测平台使用Discord账号系统进行鉴权操作，由于海外用户语言背景多样性，页面支持8种外语对任务详情进行展示，比如我们在配置任务时只选择向泰语用户发布任务，那该项任务只能显示在泰语这一栏下面，兼容了用户的使用。