复盘36氪增长过程，如何用A/B测试进行增长实验

一直听人说增长黑客概念很火，网上也流传着很多做用户增长的各种方法论和案例，但貌似很少有对一次增长实验的完整过程描述，今天就把我在36氪做增长的过程给大家做下复盘，分享下如何用A/B测试进行增长实验。

实验名称

为实验命个名。本次实验名称为：新用户首屏内容消费转化测试。也就是说，本次实验对象是“新用户”，目的是让新用户消费36氪App上的内容，而且是在首页的首屏就进行内容点击消费。

实验假设

描述实验假设条件和满足条件后的预估效果。假设这个实验成功，我们预测新用户首次消费内容转化率，能提升10%，因为：

• 假设新用户首次启动App，发现没什么可看的，找不到自己感兴趣的内容，就会直接退出，不会消费内容。
• 如果我们让新用户刚来时就给他呈现大家都在看的内容，或者行业热点内容，可能会引起新用户兴趣，预计会提升内容消费点击率。

实验设计

具体描述这个实验设计的过程。出于成本和预期效果考虑，36氪采用了Testin公司提供的A/B测试系统。在本次实验中，会将每天的新增用户（第一次安装并启动App的用户），等分成3组，每组分流33%，第1组看到对照组页面。第2组看到实验组1，第3组看到实验组2。分别比较每个实验组的点击转化数据。

对照组。该组看到的页面，就是36氪App7.4版本的首页首屏，没有任何变化。

实验组1。该组看到的页面，是把36氪App首页首屏增加了一个可点击区域，这个区域为用户呈现36氪上24小时的热门文章，叫“24小时热榜”。如下图所示：

点击这个区域，跳转到一个24小时热门文章列表页，用户可点击查看文章详情。

实验组2。该组看到的页面，是把36氪App首页首屏增加了一个可点击区域，这个区域为用户呈现36氪编辑精选的热门专题关键词，叫“热点聚焦”。如下图所示：

点击这个区域，跳转到一个专题聚合列表页，用户可点击查看这些专题的详情。

实验指标

定义实验观察的数据指标。本次实验定义指标为：每组新用户，从启动到消费内容的转化率百分比。

实验时间

本次实验时间为5.28-6.11，共2周。

实验打分

从预期影响、所需资源、成功概率分别给实验打分。预期影响为高，期望这个模块能比普通信息流模块更多提升点击转化率；所需资源为中，实验逻辑很简单，但搭建A/B测试框架还是花了一些技术成本；成功概率为高，预计成功率很高，因为已有虎嗅、极客公园、爱范儿开发过类似模块。总的综合打分为：高。

实验结果数据

本次实验观察数据有2个，1个是消费内容转化率，作为主要指标观察；1个是消费后的用户留存率，作为辅助指标观察。

内容转化率。3组用户的数据表现如下（怕数据敏感，对绝对值做了处理，见谅）：

次日留存率。3组用户的数据表现如下：

实验结论分析

对实验结果数据做出简单分析，得出一定结论。具体如下：

两个实验，都能提升新用户点击转化率，从数据上看基本达到预期，提升了10%以上。

参与两个实验的用户，留存也有一定程度的提升，有进一步正面效果。

相对而言，热门文章比热点专题对新用户消费内容的转化效果好，推测用户更关注的还是36氪上的内容，而不是一些行业热点，也许也是因为这些新用户并不关心在36氪上看互联网热点事件，而是倾向于看36氪上大家都在看的热门内容。

后续计划

说清实验完成后的下一步计划。本次实验完成后，预计：

将实验组1：24小时热榜，应用到App下一版本的产品设计中 。

继续测试验证全量用户对该模块的消费转化提升效果。

以上就是此次实验的实施效果简单汇报总结，出于信息敏感的顾虑，有些数据不便在此分享的那么详细，但总体来说还是比较成功的，更重大的意义在于我们有完整实施过一次增长实验的经验，对后续再进行其他实验打下了基础。

文：申悦@互联网悦读笔记（pmboxs）

首席增长官文章荐读：

《首席增长官的北极星指标：新用户激活》
《知识付费内容de三层模型：体系化，激发思想，实操上手》
《亚马逊创造1360亿美元销售额的增长黑客策略 | 增长官研究院》

更多精彩，关注：增长黑客（GrowthHK.cn）

增长黑客（Growth Hacker）是依靠技术和数据来达成各种营销目标的新型团队角色。从单线思维者时常忽略的角度和高度，梳理整合产品发展的因素，实现低成本甚至零成本带来的有效增长…