大家好，我是「路人甲乙丙」星球的首席服务官樱木。
今天这篇文章来源于我们的付费星球「路人甲乙丙」，这是一篇来自甲哥在星球中的分享，大家尽情享用。
刚好有球友提到，那咱们就来说说：数据量和误差的问题，这也是做数据分析时候经常会遇到的问题。
数据分析得到的结论不一定是靠谱的，具体体现在什么地方呢？
比如我们想知道 A 功能和 B 功能好不好，对用户的留存有没有用，所以我们让两拨用户来使用 A 功能和 B 功能。
如果这两拨用户分别只有 1 个人，使用 A 功能的这个人第二天回来了，使用B功能的这个人第二天没回来，所以一个留存是 100%，一个留存是 0%。
那么如果我们光从数据上看，得到的结论就是：
A 功能的留存是 B 功能的一倍。
跳出数据看，大家肯定能发现，这个是有问题的。
就两个用户，有可能这个用户今天刚好忙没用产品，恰好 A 用户因为某个事情用了，这个随机性太大了。
那么这个时候，如果两拨用户分别是 10 个人，得出的结果是使用了 A 功能的人第二天有 5 个人回来了，使用了 B 功能的人第二天有 8 个人回来了。
这样使用 A 功能的用户的留存率是 50%，使用 B 功能的用户的留存率是 80% 那么这样，我们可以说，使用B功能的留存率提高了 (80% – 50%) / 50% = 50%，这样的结论对吗？
不全对。
这个原因就是用户量还是太小了。
那么，到底多大量级的数据得出来的结论才是靠谱的呢？
这就涉及到一些统计学知识了，这个知识我在这里就不详细说了，我直接告诉大家一个工具，以及怎么用。
现在领导给了我们一个任务，需要我们去提升用户留存率，提升 10% 绝对值，那么目前我们的用户留存率是 50% 左右，也就是我们需要提升到 60%。
我们想出了一些优化的功能点，需要进行一次 AB 测试，那么上面肯定会问了，那你需要多少的用户量来进行测试呢？
我们可以看下面图片的计算结果，我们需要每个组 190 个用户量，这样能够保证我们的结论有 95% 的可信度，在统计学上 95% 的可信度的结论就基本是可靠的了。
也就是说如果我们现在 AB测试的两个组，每个组不少于 190 人，最后经过测试得到的结论一个组是 50%，另一个组是 60%，我们就可以说我们的留存率提升了 10% 绝对值了。
如果AB测试的时候，人数是少于 190 人的，即使你得到了增长 10% 的结论，这个结论很可能也是不靠谱的。
那么如果，咱们预计留存只能提升1%绝对值，那么我们需要多少量级呢？同样的方法，计算得出需要41000的用户数。
对应的计算网址放在底部的阅读原文中了。
—— 如果觉得文章还OK，请转发 ——
特别提示：关注本专栏，别错过行业干货！
PS：本司承接 小红书 / 淘宝逛逛 / 抖音 / 百度系 / 知乎 / 微博/大众点评 等 全网各平台推广；
咨询微信：139 1053 2512 (同电话)
首席增长官CGO荐读：
更多精彩，关注：增长黑客（GrowthHK.cn）
增长黑客（Growth Hacker）是依靠技术和数据来达成各种营销目标的新型团队角色。从单线思维者时常忽略的角度和高度，梳理整合产品发展的因素，实现低成本甚至零成本带来的有效增长…
本文经授权发布，不代表增长黑客立场，如若转载，请注明出处：https://www.growthhk.cn/quan/43673.html
微信扫一扫 
支付宝扫一扫 
