圣诞热点，怎么蹭？
无论是运营、技术还是产品、设计，每当热点日期临近内心都会慌得一圈：这热点你若蹭好便是晴天，若蹭不好，大抵是防不住一句话：是不是你的方案有问题？
原本以为这只是国内高度竞争的市场环境下的特殊情况，最近吆喝君回顾了我国台湾地区的A/B 测试实践后发现，有一些共性的问题值得一起探讨。
在我国台湾地区，电商或是线上服务，数字广告的转化率越来越糟。大家都在寻找新的方法，希望可以让潜在的用户了解自家产品的好处，而不是片面的撒大把银子打广告。
A/B Testing，除了单纯改改网站的按钮颜色，或是文案及照片，更重要的是在试验开始前，先了解自身公司的价值主张。这…听起来距离公司行销面有点遥远？没关系，这篇文章分享近期我收集到的课程及案例，把这些课程内容与自身的经验做结合，分享给大家为什么要进行A/B Testing？以及要怎么做A/B Testing？
数字广告转化现状
开始介绍A/B Testing之前，我们先来看看数字营销导流的问题在哪裡？参考互联网女王2018的趋势报告，裡面提及，过去几年厂商可以尽情地投放广告，而不需要思考太多其他策略面的方法，原因是过去几年的流量红利包括了智能手机出货量的增长，以及全球上网人数的普及。但是，如下图所示，智能手机在2016~2017年的增长几乎趋近于0%。代表会买智能手机的人都已经买了。比较明显的例子，是在台北搭捷运的时候，每个人手上都已经有一部智能手机(除非你想要一边追剧，一边打手游，这样可能需要部）。
在下面这张全球互联网用户的图表下，我们也可以看到用户增长的比率也是渐渐下降，这代表什么？代表会上网的人也大部分都在线上了。
会买智能手机的人都买了，会上网的人也都在线上了，那这跟数字广告导流转化的关系是什么？
想一下，每个人每天手机上网时间的情境：可能是通勤，或是下班后无聊的时间。但每个人一天拥有的时间是固定的，不会因为多买一支手机就增加了时间，也就是说数字广告的业主其实是在竞价每个人的「时间」。
就我自己的观察，在每个行业，新创小公司因为资金的关系，一开始不太有机会砸钱在电视广告。原因是电视广告的费用至少都是10万起跳，还不一定保证效果！另一方面，数字广告 — 像Facebook或是Google Adwords，皆能直接安插追踪码在每一个消费者行为的路径，可以很明确地知道，到底是哪一篇文章或是哪一则广告带来了收益，这也造就了一波新型态电商掘起的优势。
只是现在，连传统的大公司也开始知道数字广告的好处，当他们也一起跳进来抢食上网使用者注意力的时候，数字广告的价格理所当然地就开始上扬。最明显的例子就是今年跟几位在电商工作的朋友说到，每次投放的CPC或是CPA价格是去年的翻倍，可是触及率或是转化率却远远没有以前的好。
从下图，我们可以发现，过去几年台湾的数字广告量几乎都有20%的成长，这也印证了有越来越多的厂商跳进数字广告的趋势。为何要进行A/B Testing？
当公司规模小的时候，产品的走向要往哪个方向走，其实很容易，「老板说了算」(Hippo，Highest paid person’s opinion)，主要就是老板用他先前的经验，让目前的商业模式可以有正向的营业收入。
开始有了团队之后，会有产品经理、设计师、工程师以及部门主管。另外，专案数量变多了，老板不一定可以每件事情都顾到，此时每个人都有意见，听起来又都很有道理，那该怎么做决定？
为什么要做 A/B 测试？
A/B Testing，其实是一个帮助大家做决定的方法。先从一个比较巨观的情境开始，帮助大家了解A/B Testing。在Forbes这篇文章中，举了一个花店的例子。影响使用者购买产品意愿的可能，包括：
- 产品的品质(Quality of the product)
- 产品能否准时送达(Reliability and timeliness of delivery)
- 运费(Shipping costs)
- 「花束」本身的价钱(Bouquet pricing)
想像一下，你是这间花店的老板，想要进行线上买卖，透过网页让你的消费者可以进行购买，你会怎么进行假设？你会怎样呈现你的网页，直到你可以达到上面4个项目的为止？
农场直送鲜花，品质看得见 — “Beautifulbouquets fresh from the farm”。很直觉地联想到，你可以安排农场採收的画面，或是送货的画面，尽量把「直送」这个观念传达给使用者。
保证在情人节当天可以送达 — “GuaranteedValentine’s Day delivery”。为了确保情人节当天可以送达，一种测试的方法，是一位女生在公司上班的时候，有一束花放在办公桌旁边，又或是单纯以月曆和时钟，呈现时间的感受。
非常低的运费 — “Low, flat-fee shipping rates”。可以直接标示出运费的价格、又或是比较众多货运公司的运费。
价格合理 — “Flower arrangements starting from $35”。比较与一般市面上花店的价格，可以用表格，或是直接秀出价格。
假设上面是一个Landing page，在开始建造网页之前，花店的老板已经有4个价值主张(value proposition)。实际上，要完成这些价值主张，有很多种不同的方法，我们不太可能一次就把4种不同的价值主张完全验证完。比较可行的方法，就是先做出第一个版本，先确认好线上送花的这个行业是可行的。在这个先决条件成立的前提之下，我们就可以开始进一步，针对每个不同的价值主张进行A/B Testing。
在进行A/B Testing时，还要先有一个心理建设，这些试验及改变，除了能让你在短时间看到某个按钮好像改变后得到的成效之外，它也可以为你下一个档期，需要曝光的行销案，提供更明确的执行方向。
举个例子来说：在上面第二个价值主张，是保证可以在情人节的时候把你的花送到对方手中。假设这个是使用者在乎的痛点，那么「准时送达率」就会变成一个非常重要的KPI(Key Performance Indicator)。可以观察在一次的节日试验中，收到多少通抱怨的客服电话，又或是当有人使用这个服务后，下次在节日的时候，再次使用这个服务的回购率是多少？上述两点，都比单纯在一次的A/B Testing得到较好的结果，对公司来得更具建设性。
A/B Testing 的整体流程思考
漏斗分析，是对产品初步的了解，这个部分可以从安装追踪码开始。当然放置追踪码之前，你也许可以假装自己是一个第一次接触到自家品牌产品的使用者。如下图所示，有可能你的脸书被广告打到，或是你因为某种需求查询而来的关键字，或是不小心在看一些部落客的分享文中。
接着，你有可能会去点击首页的说明，或是CTA(Call To Action)按钮。当开始对某项服务感到兴趣的时候，你可能会想要多了解一下产品的全貌。如果该服务有Blog的话，可能会去点击，看看有没有其他人使用这个产品的回馈，又或是如果有FB机器人的服务，点击之后，与机器人互动看看，看能否找到自己需要的答案。
有些潜在客户，可能做了以上的动作之后，都还是没有购买。他可能会先注册试用免费版的服务。过了一阵子，收到了公司发给他的优惠讯息，最后才变成客户。这个过程短则1~2天，长则好几个月。如何追踪到这感兴趣的潜在客群？A/B Testing就适合在这个时候使用。
漏斗分析，可以把它当做一个俯瞰的角度，了解潜在客户从哪裡来？会前往哪些途径？但如果单纯只知道潜在客户会往哪裡走，是无法和商业价值有所连结，所以要进一步做漏斗分析。所谓漏斗分析就如下图所示：
在下面这个例子之中，是一个电商平台的例子，从图中可以看到放入购物车的潜在客户只有46%的人有前进到下一步骤，另外54%的人都离开了。开始填写资料栏位之后，又有44％的人会离开，所以到最后购买成功，只剩下全部的26.26%。上面举这个例子，可能就只是在你商城中其中一个漏斗，接下来要做的，就是针对每一个流失率高的漏斗，开始进行A/B Testing的优化。
A/B Testing Crash Course for Product Managers这门课中，建议我们先做用户的分群，并且举了Udemy想要关注的族群，包括：第一次进到Udemy的用户与回头客的比较，使用桌机进到网站者与手机版的用户比较…将上面这些问题与A/B Testing可以进行测试的项目做结合，展开不同的试验可能。最后他们把重心放在，第一次进到Udemy网站的潜在客户却没有注册成为会员的这群人身上。
建立呼应问题的假设
既然已经决定想要测试的对象了，接下来我们就要开始学着问问题。「建立假设」其实就是一种问问题的方式。什么是假设？简单来说，假设是对于一个现象的出现有一个合理的解释，但不知是否真的能完整去解释这个现象。
比如说：牛顿被一个苹果从苹果树上掉下来砸到，所以他假设有一股力量，可以将苹果从树上拉下来，接着他去做了很多试验，发现不只是苹果，其他的东西也都会掉下来，观察了这些现象之后，他尝试用数学的方式，建立一个模型，这也就是后来「万有引力」的由来。
再举一个例子，最近我在找日本东京旅游的资讯，找了Airbnb的东京住宿地点后，再去开instagram，马上就有Airbnb的广告等着我。可是当我已经用booking.com订好饭店之后，我的FB上还是有Airbnb的广告对我投放。原因就是广告商抓到我想要去东京旅游的意图(在Airbnb网站上搜寻东京住宿地)，所以它们假设我想要在Airbnb上订房，但实际上我已经完成我在东京住宿的预订。
广告商假设，「你最近常在看东京旅游的资讯，你会对Airbnb的广告保持兴趣」，但实际上我已经完成订房了，像这样的假设对我来说就是错误的，Airbnb的广告费用对我没达到功效。
这边提供一个假设的范例给大家参考：
我相信_________可以得到________的业绩改善，因为这个方法_______
我相信「将使用者顾客的logo移到比较接近帐单的部分」可以「增加5%」的业绩改善，因为这个方法「可以增加使用者在消费的信心」。
当然，想要增加到达页面的转化率，可能不只有一个假设。很多其他的假设都可能让页面的转化率提昇。下一步，我们需要来排序，到底哪一个假设，比较值得进行实作验证。至于排序的方式，可以参考下图，针对每一个假设，给其特定分数，分别以「商业影响程度」，及「技术执行面执行容易」的程度思考执行面的难易度。排序完成之后，落在图中右上角的项目将会是最需要排进试验时程的项目。
首先，根据先前假设，设计试验：
开始试验之前，我们需要先知道几个不同的试验参数，分别是
- 基准转化率(Baseline conversion rate)
- 这是原本试验前，目前网站的转化率。
- 最小可辨识效果(Minimum Detectable Effect (MDE))
在试验前，我们会先设定好多大的差异(Effect size)才算有意义，我们要知道试验组和控制组有多少差异才叫做有效？
- 统计显著性(Statistical significance)
统计显著性是用来衡量试验假说的效力，我们会需要设定试验的显著性，来判断试验结果是否有代表意义。(一般来说试验假说的显著性设在95%)
- 样本数(Sample size)
样本数大的试验所获得的结果，会相对较有说服力。
看完上面的定义，不知道怎么去计算？还好你可以用下面这个连结，它会帮你计算，在控制试验变因之下，需要多少的Sample 才够。
我们曾经做过一个试验：设定一个baseline conversionrate=20%的例子，那如果我们的MDE是5%，且Statistical significance是95%的话，那么我们需要25,000的样本数，才能得到有说服力的结果。通常A/B Testing都会做一段时间，如果你的网站平均每日流量大约在10,000人左右，将25,000/10,000，你需要2.5天，才能得到足够的样本数。
接着，分析数据，找出是否能验证假设的解释：
等到数据都蒐集的差不多了，就要来看看数据到底能不能验证我们的假设，是否正确。如下图所示，这边我们来看一个A/B Testing完成之后，看起来很有效果，但试过一段时间之后，控制组与试验组成效渐渐接近的状态。在 A/B Testing and Experimentation for Beginners这门课中，老师告诉我们不要太急着下定论，可以注意下面两个要点：
变量1(Variation 1)及变量2(Variation 2)与原始(Original)在2009–12–14到2009-12–21这一週看起来是有显著的差别，但大约在2010–01–01之后，这三条线段几乎都重叠在一起，如果太早把所有的网站流量都导到变量的设计，可能最终的结果不一定会理想。
有可能使用者对新的变量有反应，但部分的使用者在2010–01之后，已经熟悉了变量，他们之后再次到访网站的时候，就不再进行购物的行为，导致转化率趋于平缓。关于这点，我认为应该是这些变量都不是改善转化率的关键点，可能要重新回到第二步进行A/B Testing的整体流程思考，回去审视，是否有哪些数据被遗漏掉，或是没有发现到使用者的关键行为。
当然如果试验出来的结果，有很显著的差异，那么尽早上线，将会是一个最好的选择。
下次会更好
通常一次的A/B Testing不一定可以马上看出成效。做完一次A/B Testing可能会有以下几种结果：
正向的结果：假设正确，可以在数据上找到证明假设的证据。但老实说，这也不要高兴得太早，原因是我看过很多文献，很多改变都是在初期2~4週是有效的，但是当时间一拉长之后，原本新版改善的成效，会渐渐趋于频缓。
看不太出来有什么差：不要气馁，这并不表示这次的试验没有用。可以看看漏斗中是否有些明显的差距。如果还是没有，表示这个假设并没有完全找到值得测试的项目。
反面的结果：你的假设与试验的数据相左，新的尝试比原本的设计结果还要来得糟，确认一下试验的样本点是足够的。如果确认之后，还是没找到可疑之处。那就大方承认这次的结果并不符合预期。实际上，试验本来就没有一直成功的道理。重点是能够在这次的试验中，学习到什么，才是最重要的！
除了A/B Testing这样量化的分析之外，可能也要搭配一些问卷式的质化分析，询问使用者「为何没有做完成网站想要他们做的行为？」增加A/B Testing的完整性。
A/B Testing=Always Be Testing
A/B Testing 已经整合在最佳化转化率(Conversion Rate Optimization)之中，要能从宏观上结合商业思维，再从细节中找到使用者真正在乎的痛点。如此，才能进一步地提升服务的品质。毕竟，A/B Testing的另外一层意思就是Always Be Testing啊！还等什么，点击原文开启第一次 A/B 测试，将增长作为圣诞节礼物送给自己！
原创： Dr.New
首席增长官CGO荐读：
更多精彩，关注：增长黑客（GrowthHK.cn）
增长黑客（Growth Hacker）是依靠技术和数据来达成各种营销目标的新型团队角色。从单线思维者时常忽略的角度和高度，梳理整合产品发展的因素，实现低成本甚至零成本带来的有效增长…
本文经授权发布，不代表增长黑客立场，如若转载，请注明出处：https://www.growthhk.cn/cgo/product/15612.html
微信扫一扫 
支付宝扫一扫 
