3步打造完美A/B实验版本，让增长效果翻倍！

你是否有过当实验版本上线后，却发现有些实验细节还没想清楚？怎样的实验版本设计才能避免此类问题呢？本文将为你揭秘那些成功实验版本背后的3个简单步骤。

实验版本设计要点

在这一部分要回答的问题是实验所做的改动在哪里？设计几个版本，它们之间的区别是什么？以及这些流量在版本之间是如何分配的。

1.明确实验改动的位置

设计实验版本的第一步，是要明确实验所做的改动在哪里。这一点比较简单，例如你的改动可能在APP的主页、营销落地页的按钮，或者是整个新用户注册流程等。明确改动位置后，工程师和设计师就知道去哪里做开发和设计了。

2.确定实验版本数量和区别

第二步是针对改动位置，考虑设计几个版本，以及版本之间有什么区别。这里有几个要点：

(1) 新版本数量取决于实验假设数量新版本的数量其实取决于针对改动点，你有几个实验假设。假设数量多，可能就要设计多个新版本；假设只有一个，那就只需设计一个新版本。

(2) 选择高质量实验假设，避免随意改动我们要注意的是，不要随意想当然地改动。所有的实验假设和版本设计，都要选择那些高质量、有依据的，这样才能提高实验成功率，避免浪费开发设计资源。

(3) 区分优化实验和探索实验

a.优化实验：每个版本只改变单一变量

举例来说，如果你要优化一个落地页，想看每个元素如何改动效果最好，那你可以试试不同颜色的按钮、不同文案、不同图片，每个版本只改变一个变量如颜色、文案或图片。这样可以明确判断每个改动的影响。等确认了哪些改动有效，最终版本再把它们合并起来。

b.探索实验：可同时改变多个变量或设计全新版本

另一类是探索性实验，你可以在一个版本中同时改变多个变量，或者设计一个全新的版本。常见于两种情况：要么是之前已经做了很多局部优化实验，洞察积累多了，想要突破局部最大化的瓶颈；要么是现有版本表现太差，与其慢慢优化，不如推倒重来，设计一个理想版本。此类实验允许大刀阔斧地改动。

(4) 版本数量越多，所需总样本量越大

需要强调的是，版本数量越多，实验所需的总样本数就越大。如果你的用户量不够大，建议不要设置太多的版本。

3.若分流不均匀，实验结论可信性降低

在明确了几个实验版本之后，下一个问题是如何在这些版本之间分配用户流量。我们还是以一个红蓝按钮的例子来说明。假设在一个实验中，50%的用户看到蓝色版本，另外50%看到红色版本。我们的实验假设是，红色按钮更醒目，所以点击率会更高。如果实验观测到，红色版本的点击率比蓝色高出50%，据此我们得出结论：红色版本比蓝色版本更好。但事实真的如此吗？举一个极端例子，如果分到红色组的用户全是红绿色盲，你还能得出这个结论吗？显然不能。

这说明了，AB实验中的样本分流是否均匀，会极大影响实验结论的可信性。如果样本分流做得不好，实验结果可能根本没有参考价值。

样本科学分流的重要性

1.分流均匀可消除外在因素影响，确保实验组和对照组的可比性

样本分流之所以要做到均匀，就是要消除一切外在因素的影响，确保对照组和实验组之间唯一的区别就是实验改动点，其他条件都一致。这样才能放心地将最终指标的差异归因于实验改动，而非其他随机因素。举个例子，复联中的灭霸要随机消灭一半人口。这里的”随机”很关键，如果消灭的方式有选择性，比如留下的都是实力较弱的超级英雄，那他们最后输给灭霸，并不能说明这些英雄真的不如灭霸。因为消灭过程不是随机的，不符合分流均匀的要求。

2.样本科学分流需达到四个标准

• (1) 均匀性分流人群各维度分配比例均匀
• (2) 唯一性同一用户始终保持在原实验分组
• (3) 定向性针对特定用户类型设定实验受众分层分流
• (4) 可重复性不同实验之间的分流不冲突

3.科学分流需从技术层面保证，以支持AB测试结果的可信性

(1) 使用第三方AB测试工具可简化样本分流过程

第三方AB测试工具可以很方便地完成样本分流。以吆喝科技产品为例，可以在后台设置有多少流量进入实验，如果有多个实验同时进行，还能设置不同实验之间的流量分配。然后再进一步设置实验内部的分组，如50%进入对照组，50%进入实验组。第三方工具可以保证分流的均匀性和唯一性。

(2) 自建AB测试系统需关注分流系统的建设

如果要自建AB测试系统，分流系统是需要重点关注的。

这里分享一个电商公司自建分流系统的案例，他们大概花了一个月时间搭建了基本的分流架构：增长 or 运营团队提交分流需求 → 工程师后端进行用户分流，前端APP和小程序埋点不同实验版本 → 后端控制前端执行相应实验版本，收集数据 → 分析师手动进行统计分析。

综上所述，明确改动点，创造高质量假设，并科学分配流量，是设计实验版本的根本。

实验设计步骤（系列文章小结）

1.选择实验指标

选择指标时，除了核心指标，还要考虑辅助指标和反向指标，以全面评估实验效果。

2.确定实验受众

需要考虑：受众范围、样本量和实验时长评估。

(1) 统计显著性与所需样本量的关系实验需要的样本量，与原版本转化率、新版本预期提升幅度、统计显著性要求都有关系。

(2) 样本量过大时的实验设计调整方法如果评估发现所需样本量过大，可以考虑加大改动幅度、减少版本数量等方式，对实验设计进行调整。

3. 设计实验版本需明确改动位置、版本数量和类型。

(1) 实验假设数量决定版本数量

在设计实验版本的时候，要考虑有几个高质量的实验假设，那就设计几个实验版本。

(2) 优化实验与探索实验的版本设计区别

同时我们也要考虑我们这个实验是一个优化实验还是一个探索实验。优化实验建议去做单变量的测试，而探索实验可以做一个全新的设计。

4. 进行流量分配

科学分流是获得可信实验结果的关键。流量分配必须严格执行科学分流，不管是用第三方工具还是自建分流系统，这是获得可靠实验数据和结论的基础。

5. 实验开发上线总结优化

最后，在实验版本开发上线后，我们就可以收集数据，得出实验结果，总结实验心得，并规划后续优化计划，从而完成一次完整的AB实验。

最后总结一下，实验设计的艺术在于精确识别改动点、构建可靠实验假设、执行科学流量分配。通过本文的学习，希望你可以更系统、科学地进行实验，从而更精准地优化运营策略，提升运营效果。