今天聊聊A/B测试，关于它的渊源、价值与前沿。
A/B测试可以理解为对照试验，一般针对产品想改进的某个功能或策略，提供两种或多种不同的备选方案，通过测试用户对不同方案的反馈，寻找最优的产品决策。
01 源起
20年前，谷歌进行过一次实验，想了解页面展示多少条搜索结果最受读者喜欢。那次实验由于搜索结果加载速度问题没能成功，但却有着划时代意义，它是互联网行业的第一次A/B测试。
在那以后，亚马逊、谷歌、eBay等一众先行者将这种方法应用在产品迭代、内容优化、UI调整、算法检测等各方面，每年有数以万计的实验开启。
国内对A/B测试的应用大概始于10多年前，那时BAT就有支持各自业务的规模性并行A/B测试，但说到把A/B测试根植在基因中的公司，绕不开字节跳动。
2012年成立之初，当还是今日头条的时候，字节跳动就在内部使用A/B测试，之后这个工具逐渐升级、进化，成为大型的测试平台。
字节曾对外透露，每次发布APP，都会起多个名字，放到各大应用市场去做A/B测试，“今日头条”、“抖音”的名字都由此而来。成立9年间，字节总共开了70多万次实验，从增长策略制定，到产品 Feature 迭代，以极高的决策成功率，狂奔到了如今的位置。
2018年字节的A/B测试开始服务少数外部的种子客户，2020年通过火山引擎正式对外商业化。
02 价值
对一家企业而言，拥有A/B测试的能力到底有多重要？
关于字节内部的A/B测试工具，坊间有着它比 Google Analysics 更好用的评价。外界也有很多声音，说增长团队和A/B测试工具是字节的制胜关键。但我更倾向于认为，工具本身只是显性呈现，背后的本质是科学增长的方法论。
A/B测试，可以被应用在产品的每一个拉新、转化、激活、留存的微小细节，也可以被放置于公司的方案、方向、战略、决策的重大抉择。A/B实验的本质，是能以较小的风险对决策进行评估，并且可以排除其他因素的干扰，寻得定量的结果。经过大量的实验铺陈，企业就能用更小的试错风险，寻得更优的决策。
这些年，我见过很多一夜爆红又一夜死亡的产品，拥有健康增长曲线的公司寥寥无几。对前者而言，成功或许归结于运气与风口，而对后者而言，成功却是一种必然，是在上万次的迭代决策中，都选择了那个“更好一点”的方案的必然。
可以说，企业的竞争力与实施A/B测试的能力密切相关。
03 演进方向
这几年，我在持续关注着A/B测试的产品演进。市面上顶尖的A/B测试产品，提供的是让业务变得精确、简易、高效的能力。而智能化能力与简易化能力，是未来产品演进的重要方向。
- 智能化方向
在剑桥的 <Trustworthy Online Controlled Experiments> 中，将实验平台按成熟度分成了 Crawl, Walk, Run, Fly 四个层次，第四阶的 Fly ，指的是AB测试的自动化乃至智能化阶段。进入这个阶段的实验平台，能够低成本和低人力投入地大量并行A/B测试。
目前少数前沿A/B测试产品具有的动态流量调优能力，是这个方向较有代表性的特性。该能力可以让实验者同时提交多种策略（例如多种推送文案、多个落地页面样式），在实验开启后，由A/B测试工具智能动态扩量优胜版本，无需人工干预，流量自动向“有可能成为最优的策略”倾斜，并根据实时的指标变化，动态更新流量配置。
- 简易化方向
在新产品层出不穷的今天，内卷竞争弥漫在各行业赛道，倒逼企业转型向精细和高效管理。在精细操作阶段，A/B测试是绕不开的驱动器。曾经需要专业的产品团队、专业的数据分析团队才能完成的A/B测试，会向人人可用、适配全行业的方向发展。
一个比较代表性的产品方向是可视化实验配置能力。这是一个让配置A/B实验趋近零门槛的功能，用户可通过直接拖拽的方式，改变页面布局及各种前端元素，以所见即所得的操作，完成实验对照组和实验组的配置。没有产品基础和数据基础的人同样可以DIY实验，不再需要前后端研发的介入。
另一个我关注的产品能力，是优化的灰度发布和回滚能力。通常产品在新功能发布前，会有“灰度发布 (Feature Flag)”流程，这个流程的目的是采取小流量测试的方式，验证新功能是否稳定。
如果灰度上线后结果不理想，需要协同产研将功能回滚，以做进一步优化。
目前，前沿的A/B测试产品提供了“开关”形式，可直接管理产品内功能的开启/关闭，运营可直接操作，还可以针对目标人群进行定向发布，进行精细化运营。这个功能可以让产品 Feature 迭代高效数倍。
04 结语
近些年围绕增长的概念很多，从战略的第二曲线、品牌的错位竞争，到产品的三级火箭、渠道的裂变营销；另一层面，技术发展也为增长带来了可量化依赖的工具，譬如画像洞察，譬如AB测试。
“增长”已不再是互联网专属的摩登词语，而成为了各行业发展的必修课程。而在凭借经验、才智、理论指引决策之外，数据工具的重要性也将到达前所未有的高度。这个方面，我也会保持时刻的观察，间歇和大家交流。
—— 如果觉得文章还OK，请转发 ——
特别提示：关注本专栏，别错过行业干货！
PS：本司承接 小红书 / 淘宝逛逛 / 抖音 / 百度系 / 知乎 / 微博/大众点评 等 全网各平台推广；
咨询微信：139 1053 2512 (同电话)
首席增长官CGO荐读：
更多精彩，关注：增长黑客（GrowthHK.cn）
增长黑客（Growth Hacker）是依靠技术和数据来达成各种营销目标的新型团队角色。从单线思维者时常忽略的角度和高度，梳理整合产品发展的因素，实现低成本甚至零成本带来的有效增长…
本文经授权发布，不代表增长黑客立场，如若转载，请注明出处：https://www.growthhk.cn/cgo/40104.html
微信扫一扫 
支付宝扫一扫 
