A/B测试增长实战( 二 )


还有一种情况,当我们的业务处于上升期,尽管我们什么都不做,业务指标还是会上升。那我们的迭代真的能带来实际增长吗?
其实业务发展的逻辑就像是马拉松,需要低损耗地朝正确方向持续小跑。
通过小流量去测试用户,能够加速产品的迭代,小步快跑积少成多。同时通过A/B测试保证数据是稳定且有效的,降低决策风险,保证眼前的路不是下坡路。
A/B测试增长实战
文章插图
下图中的数据增长闭环,产品和运营人都不陌生。
A/B测试增长实战
文章插图
举一个具体例子,为什么支付页的转化率低?很多人觉得就是通过分析数据猜测原因,选一个看似最能解决问题的可能就直接上线。在没有A/B测试的情况下,这看似是数据驱动决策,实际上还是经验驱动决策。
如果是我们,我们会怎么解决?
首先会提出假设,是用户不喜欢我们的UI风格吗?还是觉得支付流程过长?那通过设计不同UI风格,精简支付流程,同时让这两个方案进行A/B测试,让用户真实的行为告诉我们,更喜欢哪个方案。
解读实验报告的过程也是在解密功能对用户行为影响的过程。
A/B测试能够加深我们对产品和用户的认知,纠正过去错误的理解和偏见。
所以数据驱动这个圆环不停旋转起来,沉淀下来的就是新的经验新的认知,也提高了业务团队的决策能力。
所以A/B对于字节不仅是工具,可以说一种业务文化,这种经验和文化不断的传播,大带小、老带新,就形成了公司内部的正循环。
前面沟通了这么多A/B的价值,A/B实验具体可以在哪些场景下使用?
以电商用户为例,如下图所示,这是电商产品拉新、获取、激活、到最后流失的整个留存曲线。在这其中有几个拐点,产品和运营的工作就是运营和增长的手段在拐点来临之前把他们拉回,A/B测试所运用的地方也是这些拐点之前。
A/B测试增长实战
文章插图
举个例子,在做广告投放时,可以通过不同的落地页进行转化对比,提升投放的ROI。用户吸引来之后,要对他进行激活,可以发优惠券,优惠券的金额根据数据对比实验决定。
成为了活跃用户之后,用户只有在体验过产品的核心功能并认可产品的价值才会真的留下成为一个活跃用户,这个阶段会做产品实验比如优化搜索、下单流程、支付流程等。
电商希望更多用户的能更快地匹配到更合适的商品、这样不仅能让用户在app停留更久,也能促进高频高质量的消费,就要推荐算法提升粘性,就会用到推荐算法调优实验。

  • 针对老用户,可以开发针对性的个性推送提升复购;
  • 针对沉睡用户,可以进行定向圈人开push实验进行召回唤醒。
这就是A/B测试在整个用户生命周期中的作用。
举一个实战案例,来讲述下A/B实验是如何在支付环节提升收益的。
A/B测试增长实战
文章插图
这是一个租车APP,用户在结算页面需要支付租金和押金。押金比租金要高很多,这两个金额同时支付对于用户的心理成本很大,所以支付页面的转化率很低。
我们提出一个想法,把押金和租金的支付页面分开,明确告诉用户押金支付完可以退,是否能提升下单。
也有人担心这样拆分支付流程变长,用户会流失。
但是通过A/B测试,发现改动之后下单转化率提升了7%。虽然支付流程变长了,但是降低了用户的心理阻力。
有了优化场景,想做A/B实验,但具体的页面应该如何优化呢?