神策数据：游戏企业如何做产品A/B测试？三大案例一次搞懂

A/B 测试是游戏行业常用的数据试验方法，特别是有过游戏出海经历的企业，都尝试过 A/B 测试：

• 商店 A/B 测试：在 Google Play 开发者后台，通过 A/B 测试挑选最合适的游戏图标、商店图、商店视频和商店文案；
• 广告投放 A/B 测试：在 Facebook 投放广告素材时，通过 A/B 测试发现哪一个受众群体可以创造更高广告价值；进行广告投放的优化，确认哪一种投放方式/投放素材可获得最佳成果；
• 广告变现 A/B 测试：在变现聚合平台调试广告变现时，通过 A/B 测试寻找更合适的 Waterfall 配置等，寻找最佳的广告触发时机、广告观看奖励、广告播放形式等；
• 产品 A/B 测试：在游戏产品研发与运营过程中，测试美术设计，如按钮用什么颜色、什么形状，NPC 用什么造型、技能特效、抽卡表现等；
• 测试新手引导，调整新手阶段的节奏、难度和特定的关卡设计；
• 测试界面布局，如商城界面布局，包括顺序、大小、颜色和边框等；
• 测试产品定价，确定哪些定价的硬通货或者礼包对玩家更有吸引力；
• 测试变现入口，确定合适的变现入口，使得既可以获得可观的收益又不影响玩家体验；
• 测试玩法机制，找到更吸引玩家的玩法，如调整 PVE 通关奖励领取方式能否提升玩家体验深度，副本增加随机隐藏 BOSS 能否吸引玩家再次挑战，PVP 不同匹配策略对玩家参与积极性有什么影响。

本文将围绕游戏产品 A/B 测试，帮助游戏企业及时了解每一个重要变动带来的是积极还是消极影响，从而实现在版本迭代时达到更好的留存和收益。

接下来通过三个真实实践案例，讲述神策数据 A/B 测试如何帮助游戏企业解决玩家转化与参与度的问题。

案例一：限时活动 A/B 测试，玩家游戏进度大幅提升

某款休闲游戏上线一段时间后，玩家付费逐渐乏力。策划同学希望通过优化限时活动，刺激玩家付费，进而提升 LTV。目前限时活动设计为：玩家在限定时间通过指定数量活动关卡即可领取活动奖励。玩家挑战活动关卡需要消耗体力、攻防增益等道具。道具不足时，可以通过内购商城、观看广告两种方式来及时补充。策划同学希望通过在活动中加入一些社交竞争元素，借助相互攀比的心态，激励玩家尽早通关活动关卡，提升收益（短期内消耗更多付费道具）。

在以往实践中，将社交竞争元素用排行榜的形式来展现效果会更好。因此策划同学设计了三版排行榜展示策略：

1、为玩家展示相同地区其他玩家的活动进度；

2、为玩家展示相似水平段位其他玩家的活动进度；

3、为玩家展示相近剩余体力其他玩家的活动进度。

同时，通过 A/B 测试进行策略验证——将玩家分为对照组和三个试验组，各组玩家只能看到所属组的排行榜展示形式：

• 对照组：此组玩家将不会被展示进度排行榜
• 试验组 1：此组玩家将会被展示相同地区玩家的进度排行榜
• 试验组 2：此组玩家将会被展示相似水平段位玩家的进度排行榜
• 试验组 3：此组玩家将会被展示相近剩余体力玩家的进度排行榜

图 神策数据 A/B 测试设置试验分组界面

然后，筛选试验受众玩家为“活跃玩家”，设置试验核心指标为“活动时间段内的人均收益”，设置试验辅助指标为“活动参与率”。

接下来，在进行为期一周的观察之后，发现试验组 2 的置信区间在【+4.69%，+9.54%】，核心指标有显著提高，因此，产品团队将试验组 2 的版本确定为最新可发布版本。

在该过程中，神策数据 A/B 测试解决方案能够帮助游戏企业结合用户行为分析，确定应对用户变化的最优解决方案，最大化提升价值产出与效率。

案例二：通关奖励展示形式的 A/B 测试，强化玩家粘性与游戏深度

某 RPG 游戏希望通过调整 PVE 关卡奖励的领取方式，来提升玩家对 PVE 关卡奖励的期待，刺激玩家持续参与关卡挑战，从而提升玩家购买体力的可能性（挑战关卡需要消耗一定体力）。当前玩家顺利通关时，会展示通关奖励，同时奖励道具直接进入玩家包裹。针对此，策划同学计划在挑战成功领取通关奖励阶段融入随机机制，增加闯关乐趣，设计了两种通关奖励领取方式：

1、通关成功后，为玩家弹出大转盘。玩家转动转盘后，可以获得指针停留的道具，大转盘内的道具与直接展示相同；

2、通关成功后，为玩家弹出三个宝箱。玩家可以选择任一宝箱获取里面的奖励，选择之前无法看到宝箱内道具信息，宝箱内道具配置与直接展示相同。

为了快速识别到最优的通关奖励领取方式，策划同学通过 A/B 测试观察各个策略的数据结果辅助决策，将玩家分为对照组和两个试验组，各组玩家只能看到所属组的奖励领取方式：

• 对照组：直接展示关卡奖励，玩家直接领取奖励
• 试验组 1：以转盘形式展示奖励，玩家通过旋转转盘领取奖励
• 试验组 2：以三宝箱形式展示奖励，玩家通过选择任一宝箱领取奖励

在该试验中，筛选试验受众用户为“新注册玩家”，试验核心指标为“人均关卡通过次数”，试验辅助指标为“人均在线时长”，综合观察指标变化后，发现试验组 1 玩家平均通过关卡次数为 11.91 次，试验组 2 玩家平均通过关卡次数为 12.27，均明显高于对照组直接展示关卡奖励的 11.2 次。因此，该游戏团队将试验组 2 作为正式版本对外发布。

案例三：新手限时礼包展示时长的 A/B 测试，有效提升玩家购买率

某策略游戏的策划团队对于新手限时礼包的购买率不太满意，希望通过策略优化实现购买率提升。

目前，该游戏的新手礼包限购时长为 3 天，因此，策划同学计划通过调整礼包限购时长来营造紧张感，刺激玩家购买，从而提升礼包购买率。按照这一思路，策划同学设计了一次 A/B 试验，将当前限时 3 天购买的新手礼包作为对照组，将限时 2 天购买的新手礼包作为试验组 1，将限时 1 天购买的新手礼包作为试验组 2，将限时 7 天购买的新手礼包作为试验组 3。各组礼包内的道具都一样。

在进行试验的过程中，筛选试验受众用户为“新注册用户”，设置试验核心指标为“礼包购买率”，设置试验辅助指标为“礼包查看次数”。

经过观察与分析试验效果发现，对照组与试验组的礼包购买率分别如下：

可以看出，试验组 2 的礼包购买率相较于对照组提升明显，能够最大限度满足此次改版需求。

此次试验中，该游戏企业通过神策数据的 A/B 测试解决方案，能够覆盖完整用户操作触点，并得益于 One ID 映射方案，轻松实现用户跨端识别。与此同时，运营同学可以将一份流量克隆为多份，流量复用，面向同一个玩家同时进行多个试验；也可以将一份流量分割为多份，分配给多个试验使用，同时保证各试验流量相互隔绝，保持流量互斥；除此之外，还可以将一份流量拆分为多组，分配给多个试验版本使用，并灵活调整各组分配比例，基于此实现一份流量、多份使用，大幅提升试验并行数量。

综上，神策数据 A/B 测试能够帮助游戏企业在研运过程中，以更低成本做更多、更精准的试验，驱动科学决策的诞生。