帮助中心 > 功能手册 > ABTest > 试验指标管理

1 概述

试验指标管理提供统一管理指标口径的功能,包括查看指标口径、新建、编辑、复制、删除。统一试验相关的指标计算口径,达到指标口径统一管理的目的,提升指标复用的能力,也明确了指标的口径,减少歧义和沟通成本。

2 位置和使用权限

操作位置:ABTest—试验指标管理

使用权限: 不同的项目角色操作权限如下

项目角色 权限 权限明细
管理员 查看、编辑、复制、删除 新增指标分组、新增指标、编辑指标、复制指标
分析师 无权限 无权限
普通用户 无权限 无权限

3 页面概览

进入指标管理模块后,展示所有指标列表,右侧可对指标进行操作,也可以搜索指标名称。

4 功能结构

4.1 试验指标列表


指标名称:展示当前指标的最新名称(指标名称可修改)。点击名称可排序。
指标属性:展示指标的类型,分为业务类、检验类。点击名称可筛选类型。
生成方式:展示创建指标的方式,点击名称可筛选。
试验引用数:展示该指标累计参与过的试验数,鼠标移动到数字上,展示具体参与过的试验名称。点击名称可排序。
创建人:展示该指标的创建人名称。
操作:分为查看、编辑、更多(复制、日志、删除)。

4.2 新增试验指标

指标名称:长度不超过100字符,首尾不能为空格,指标名称不能重复。
指标描述:长度不超过256个字符。
指标分组:用户可以新增一个指标分组,对指标进行分类。
指标指向:正向、负向、中性共三种指向。
指标类型:

  • 检验类指标:通过严格的、可经由统计学进行置信度检验的指标,衡量参与试验样本的服从统计分布,从微观角度,按试验样本/试验单元维度去观察试验对单个样本的影响,用以判断试验结果的成败。比如,人均点击次数、人均交易金额、点击按钮转化率等。
  • 业务类指标:通过稳定的、易理解的、公司内通用的业务指标,从中观角度,去观测试验阶段的整体数据表现,平衡地观测试验过程中的业务数据变化,洞察试验的影响。比如,DAU、GMV、「APP启动」总次数等。

生成方式:
检验类指标,按生成方式分为以下六类:

检验类指标 指标定义 统计分布 举例
转化率 试验用户中有多少比例的用户发生了指定转化事件。 二项分布 注册转化率、留资转化率
人均值 平均到每个试验用户,关于某指定事件次数或该事件属性的度量值。 正态分布 人均交易金额、人均下单商品数
人均事件均值 平均到每个试验用户,关于某个事件的次均度量值。 正态分布 人均单次播放时长均值、人均单次浏览下单金额
人均事件比值 平均到每个试验用户,关于某两事件度量值的比值。 正态分布 推荐内容点击率、搜索结果点击率
漏斗分析 试验用户中有多少比例的用户完成了一个多步骤过程的转化,包括每一步的转化与流失情况。 二项分布 商品浏览加购下单转化率
留存率 试验用户中有多少比例的用户在后续指定时间窗口期内进行了后续留存行为。 二项分布 次日活跃留存率

业务类指标,按生成方式分为以下两类:

业务类指标 指标定义 举例
事件分析 标准口径:观测进组用户在整个试验阶段的指标表现;精准口径:观测进组用户在准确进组后的试验期间的指标表现。 公司内通用的业务指标、DAU、GMV、「APP启动」总次数
留存分析 选择留存或流失两种类型,可以选择用户数、留存率。初始行为、后续行为都可单独加筛选条件 流失率、次日留存、七日留存率等

4.3 查看

用户可以点击查看按钮,查看指标的详细信息,包括名称、分组、指向、类型等。

4.4 编辑

用户可以对指标分组进行更新,指标类型不支持更改,但可更新具体指标的数据口径。注意如果指标被多个试验使用,编辑口径将对所有试验生效,谨慎操作。

4.5 复制

用户可以一键复制已有指标,加快工作效率。

4.6 删除

用户可以一键删除指标。注意如果指标已被引用,删除后不会出现在对应试验报告中。

4.7 新增指标分组

新增指标分组:支持中英文、数字、下划线,长度不超过20个字符。

作者:超级管理员  创建时间:2024-09-26 09:29
最后编辑:超级管理员  更新时间:2024-10-17 17:27