中山网站建设sipocms,做任务赚q币网站,学做网站设计,景区网站建设的好处前言#xff1a; 作为AB测试的学习记录#xff0c;本文主要介绍了AB测试的基本流程#xff0c;以及指标类型和如何选取合适指标。 相关文章#xff1a;AB测试——原理介绍 AB测试的基本流程是什么#xff1f;
AB测试#xff08;也称为分流测试#xff09;是一种常用的实… 前言 作为AB测试的学习记录本文主要介绍了AB测试的基本流程以及指标类型和如何选取合适指标。 相关文章AB测试——原理介绍 AB测试的基本流程是什么
AB测试也称为分流测试是一种常用的实验设计方法用于比较两种或多种不同的设计或策略以确定哪种方案更有效。下面是AB测试的一般流程
定义研究问题确定要测试的问题或假设并将其转化为可量化的指标。设计测试方案制定测试方案包括定义测试组和对照组确定样本量和测试时长等关键因素。实施测试方案实施测试方案包括在测试组和对照组中分别应用不同的方案并记录结果数据。数据分析统计分析收集的数据比较测试组和对照组的差异并确定哪种方案更有效。结果解释和应用根据数据分析结果解释测试结果并应用于实际业务中。优化改进根据测试结果和应用效果进行优化改进并持续跟踪测试方案的效果。
需要注意的是AB测试的有效性取决于样本量和测试时长的设计必须确保样本量足够大测试时长足够长才能保证测试结果的可信度和稳定性。此外测试方案需要避免影响测试结果的偏差和干扰例如排除不相关因素的影响。 1. 定义研究问题Problem Statment
首先需要明确业务场景的背景现状和产品经理沟通需要验证的方案是什么目的是什么。
比如我们先在需要上线一个新的APP的UI界面目的为了吸引用户购买提高用户的成交量。
变量/变体一个新的UI界面实验对象APP用户目的提高成交量
通过对问题的分析和理解实验设计者需要将一个商业问题转换成一个可量化、可通过实验验证的数学问题。 2. 选取指标 Metrics Selection
确定好实验的背景和目的接下来就需要确认需要追踪和验证的数据指标。
2.1 指标的两种分类
对于指标我们可以有两种分类方法。
按计算方式区分
第一种按计算方式区分
绝对值指标 单一的数值比如利润总额、销售量、用户在线时间等。相对值指标 两个有联系的现象数值相比得到的比率。例如用户转化率、ROI等。
按业务特性区分
第二种是根据各类指标在业务中的分工特性区分 成功指标(Primary/Core/Success Metrics): 最核心的度量指标决定新功能是否有价值、实验是否成功的度量。比如如果新的UI界面是为了提高用户的体验那么用户在线时长、日活可以作为关键指标如果是新的产品推送策略为了提高销售和利润那么利润就是最关键的核心指标 跟踪指标Secondary/Tracking metrics: 跟踪指标不能直接测量新功能是否有效 但是能帮助监测新功能是如何影响目标指标。 如果目标指标有异动跟踪指标可以帮忙分析新功能是如何导致目标指标发生变化的。比如在新界面上线后 第一种情况 用户购买量下降了同时用户的浏览量和在线时长都减少了。UI界面设计不合理令用户的使用体验变差提前关闭APP导致了购买下降。第二种情况用户购买量下降了但是用户的浏览量和在线时长都提高了。新的UI设计让用户更愿意花时间浏览APP。因为浏览时间拉长用户发现了很多喜欢的商品但是由于选择过多反而让用户更难下定决心购买。 护栏指标(guardrial metric): 护栏指标是用来限制新设计带来的负面影响。在这个UI界面的例子中我们希望用户购买量能够上升但同时不希望新的功能会影响日活量如果新功能对日活量有一定的负面影响。那么表明有部分的用户不喜欢新的页面设计这时我们就需要否决掉这个方案。再举个广告投放的栗子 许多APP都会使用不同的广告投放策略在用户使用时推送广告。因为企业希望通过广告增加利润收入所以广告投放策略的核心指标一般是广告盈利。广告太多或者广告质量不佳就会直接导致用户在线时长、活跃度下降。若没有及时控制可能会最终导致用户流失。 所以用户的在线时间、或者日活是需要监控的护栏指标。
2.2 如何找到合适的指标
AB测试的指标选择应该基于业务目标和测试假设需要选择与目标直接相关、易于测量和可靠的指标以确保测试的有效性和准确性。
选择指标的原则
下面是总结的一些基本原则
关注核心业务指标应优先考虑关键业务指标如转化率、收入、利润等。这些指标与业务目标直接相关能够直接反映实验效果。考虑上下游指标除了核心业务指标还需要考虑与之相关的上下游指标。如用户满意度、页面停留时间、页面访问量等以便全面了解实验效果。易于测量选择易于测量的指标可以降低测试成本和复杂度。可靠性需要选择可靠性高的指标避免测量误差和偏差对测试结果的影响。敏感性需要选择敏感性高的指标能够反映出实验效果的变化。及时性需要在短期内可以测量的指标因为实验时长有限我们要确保选择的指标可以在实验周期内测量完成。可解释 对于指标的变化我们需要找出并且解释变化的原因和影响因素。
利用用户旅程图找到合适的指标
**用户旅程图Customer Journey Map**是一个描述用户在使用产品或服务过程中所经历的各个阶段和关键转折点的图表。 使用用户旅程图可以帮助我们更好地理解用户需求和行为定位AB实验所处的用户旅程阶段进而确定核心指标以及关键转折点上下游指标。
根据指标的分析结果可以确定测试的优化方向如优化页面设计、提高页面加载速度、调整价格策略等。 参考资料 https://zhuanlan.zhihu.com/p/374586706 https://zhuanlan.zhihu.com/p/34084243
