在做To B用户增长业务的时候,总不会一帆风顺。在经历了业务的波峰和谷底,特别是在谷底如何逆势翻盘,这也是非常难得的一种业务经历。一个完整的业务周期,通常会经历萌芽期、测试期,然后进入上升期。进而业务稳定之后会产生业务波动,从而进入到衰退期。之后需要通过调整策略,才能使得业务持续保持增量。
诚如笔者之前文章所谈到的,用户增长的三架马车:模型、策略和话术(或者可以调整为触达方式,短信、语音、或者信息流,抑或信息流叠加AI的方式,都是触达的某种形式)。
其实很多的Routine工作是完全可以程序取代,这也是我试图撰写此文的初衷。策略运营人员在从业务效果分析数据提取策略优化方向,还有在用户心智或者交互体验等方面,专家经验在目前阶段还是远超AI的水准。这也是策略运营的价值所在。
从日常的增长业务流程来看,需要人工介入的主要三部分耗时较多:营销数据分布、模型优化上线以及策略任务提交。此篇文章主要就营销数据分布和策略任务提交的自动化做自己的一些设想。
接下来,笔者试图从自己的角度,来看下用户增长的自动化业务流程如何实现。此文仅表达个人观点,欢迎大家讨论。
营销数据分布的自动化
之前我们谈到用户增长业务流程的三个步骤:看分布、做策略和定排期。这里主要指的是看分布。目前传统的方式流程链路比较复杂,而且存在较多的重复性线下人与人、数据与数据、以及人与数据的交换与决策。所以将这一部分的工作流程化和自动化,将极大释放算法同学的日常取数的重复性工作,可以把更多精力投入到算法研究等更有价值的工作中去。这部分工作主要由以下主要流程构成:对接完成建表、撞库跑出分布。
对接完成建表
这里不谈及数据隐私以及合规问题,仅从技术角度来看如何支持自动化。
- 渠道数据获取:确认好和客户数据同步的方式,频次以及数据的类型。
- 数据入库:渠道数据的接收、预处理以及入库过程,直接通过API进行传输后进行落库,一方面避免数据人员直接接触数据,更一方面也是减少数据代领池的重复性工作。
撞库跑出分布
- 前筛策略条件:此前也提到,前筛策略包括产品准入规则,多头剔除策略、内部去重规则、名单规则以及运营商属性等。这里需要额外再提及的是,短信或者语音的营销通道本身对应地域的屏蔽每日都在动态调整,如果是需要手工改动算法代码不光效率较低,而且有较高的操作风险。所以,自动化的流程就是可以把前筛策略可以进行配置,像决策引擎配置风控策略集一般,可以对各个产品的前筛策略集进行配置。后续也可以对相同产品采用不同的前筛策略集进行AB测试。
- 数据分层策略:跑分结果按模型分数进行分层,分成10档、或者20档。这里需要注意的是,同一个产品可能有若干个生效的模型(可能是模型对比或者模型取数补充等原因)。
策略任务提交的自动化
得到可营销的数据分布之后,接下来就是定策略。这部分主要是确定取数逻辑、数据入库两部分,这两部分也可以实现自动化的流程。
确定取数逻辑
如何取数对于不同的产品和相同产品在不同的运营阶段也有不同的策略。这部分和前筛策略集对应,可以做成业务策略集,和取数的逻辑相关,相关的策略有:
- 阈值设定:例如授信成本,或者CPA结算的订单成本由此对应的模型基准分数;
- 取数数量:一般5W起,基准分数之上的原则上会全取;
- 取数方式:一般是Top取,但是有时候在模型压测或者策略对比的时候,会在某个分数以上随机取;
- 数据拆包:一般短信和语音大于30W左右就会拆包,以降低业务风险;
- 取数顺序:多渠道同产品,这时候不同渠道的营销数据之间要去重,相应的确认各渠道的取数顺序。
数据入库
- 最终每日的可营销数据根据不同的触达方式(例如短信、语音或是信息流)写入到数据库中。当然这里也可以有更加复杂的逻辑,例如语音外呼后追加群发短信,信息流迭代短信的方式来看ROI整体的营销效果;
- 还有一部分的数据可能是客户自运营,这部分数据可以生成csv写回到客户的sftp中,或者让客户直接用API来拉取;
策略自动优化的演进想法
关于AB测试
在讨论运营策略的自动优化前,我们先看来看看AB测试。A/B测试的核心价值在于,它是一个将定性决策转化为定量决策的重要方法。尽管将定性决策转化为定量分析的方法有很多,但没有任何一个方法有A/B测试这么直观、科学、可信,且易于操作。
关于AB测试有以下几个概念,这边提及一下,不详细展开,读者有兴趣可自行深入研究或和作者讨论:
- 流量互斥层:是为了让多个实验能够并行不相互干扰,且都获得足够的流量而研发的流量分层技术;
- 流量正交实验:每个独立实验为一层,一份流量穿越每层实验时,都会随机打散再重组,保证每层流量数量相同。用意主要是如何进行多个实验,保证流量的高可用;
- 互斥实验:所有互斥实验使用同一流量层用户,但不共享用户,如果一个用户 / 设备命中了实验 A,就不会命中互斥的其他实验;
- 实验指标:在开始一个实验时,目的是对比对照组和实验组的某个或者某几个指标;
- 流量过滤:对 AB 测试的目标用户增加一些限制条件,规定被实验命中的用户必须符合(或不符合)条件,比如针对某个用户分群,某些用户标签进行过滤,进而精准找到测试目标人群,这种限制条件即“流量过滤”;
- 白名单用户:在实验正式开启之前,通常需要先选择几名用户进入测试阶段,观察实验是否能够正常获取想要收集的数据,或执行流程是否符合预期。参与这一步的用户被称为“白名单用户”;
- 置信区间:置信度区间就是用来对一组实验数据的结果进行估计的区间范围;
- A/B实验指标体系需要三类实验指标
(1)核心指标:这种指标是决定实验成败的关键指标;
(2)辅助指标:用于辅助判断实验对其他因素的影响;
(3)反向指标:实验可能产生负面影响的指标;
实验的几个基本步骤一般如下援引腾讯TEGhttps://www.zhihu.com/question/20045543/answer/1103961403
1、流量分配:
- 不影响用户体验:如 UI 实验、文案类实验等,一般可以均匀分配流量实验,可以快速得到实验结论;
- 不确定性较强的实验:如产品新功能上线,一般需小流量实验,尽量减小用户体验影响,在允许的时间内得到结论;
- 希望收益最大化的实验:如运营活动等,尽可能将效果最大化,一般需要大流量实验,留出小部分对照组用于评估 ROI;
这里可能要注意下辛普森悖论-实验流量分割比例改变带来的结果错误。
2、实验效果主要回答以下问题:
- 方案 1 和方案 2,哪个效果更好?
- 哪个 ROI 更高?
- 长期来看哪个更好?
- 不同群体有差异吗?
3、实验结束
- 反馈实验结论,包括直接效果(渗透、留存、人均时长等)、ROI;
- 充分利用实验数据,进一步探索分析不同用户群体,不同场景下的差异,提出探索性分析;
- 对于发现的现象,进一步提出假设,进一步实验论证;
增长引擎智能化畅想
前面提及了用户增长流程自动化的想法,这个完全是可以用技术手段实现,并且可以极大释放算法和运营的精力,聚焦在更有价值的工作中。接下来,我们探讨下策略优化的自动化。
在上文中,我们描述了数据完成建表的自动化,即数据入库的自动化;接下来讨论了撞库后数据分布的自动化,即人群模块的自动化,之后是确定取数逻辑及营销任务入库的数据化,即实验模块和任务模块的自动化。
在全流程的节点中,还有两个人工中断节点:模型的训练和优化以及策略的优化。
如果我们能实现策略的自动优化,无疑又会将我们的营销自动化迈入新的一步。
目前,首先数据分析要从被动的“人看数据”,升级为“洞察模块”,需要对全局的核心指标做自动监控,分析业务的波动原因,从而进一步产出各个指标对业务的贡献值。
在业务在进行一段时间之后,“智能决策模块”可以替换下之前的人群和任务模块。人群模型里是需要运营的人群规则,任务模块是一系列任务,由“智能决策模块”来完成人群和任务的关联,并负责效果的跟踪和优化迭代。
换言之,由机器决策代替人工决策。
只需要做一些全局的设置即可。
本文经授权发布,不代表增长黑客立场,如若转载,请注明出处:https://www.growthhk.cn/cgo/market/55408.html