AB 实验:设计与显著性检验

系统讲解互联网产品常用的 A/B Testing 方法,涵盖实验流程、空转(AA Testing)、显著性检验(Z 校验),以及多因素正交实验的设计思路。以 B 站点赞样式优化为贯穿案例,建立从实验设计到数据分析决策的完整认知。


AB 实验概述

什么是 AB 实验

AB 实验(AB Testing)是一种用于比较两个或多个版本差异的实验性方法,常应用于网站、应用程序或营销策略中。基本做法是将用户随机分配到至少两组,分别展示不同变体(如 A 和 B),然后分析用户行为数据,以确定哪个变体更能达成预期业务目标。

示例: 对 A、B 两群体投放不同页面样式,观察点击率高低后决定推广哪种样式。

核心原则:随机分配。 用户需被随机分到各实验组且样本量足够大,确保组间唯一差异仅为被测变体,从而排除其他变量干扰,提升实验置信度。

AB 实验流程

  1. 设定目标与指标 — 明确实验目的及观测指标;搜推场景常看搜索/推荐内容的点击率。若当前无法统计,需提前在前端埋点。
  2. 制定实验方案 — 确定对照组与实验组的干预手段。
  3. 随机分组 — 借助公司平台生成随机实验/对照组。
  4. 空转(AA Testing) — 先运行一段时间验证流量组同质性。
  5. 运行实验并采集数据 — 对比两组指标表现。
  6. 数据分析 — 关注波动情况;若单日结果不稳定(正向→负向),可延长至一周甚至更久再评估。
  7. 做出决策 — 若实验组相对对照组显著正向,则推全实验组方案。

空转(AA Testing)

定义与作用

空转即 AA Testing,周期一般为一周,目的是验证两个流量组是否为同质用户。

同质用户定义: 两组的 PV、UV 及观测指标处于同一水平线(差异极小)。

非同质情况的处理

出现较大偏差时有两种处理方式:

  1. 重新抽取流量,或一次性抽取多个流量组,选择表现平稳的两组再进入正式实验。
  2. 使用 DID(Difference-in-Differences,双重差分法) 估算并扣除两组间的初始偏差(假设该偏差在 AA 阶段到 AB 阶段保持不变)。

案例推演:B 站点赞样式优化

背景设定

某 CTB 团队负责 B 站产品经理提出优化”点赞”按钮样式的需求,目标是提高用户点赞率。提供两套设计方案:

  • 版本 A(对照组): 现有点赞样式(橙色 button)。
  • 版本 B(实验组): 新设计样式,改变了颜色与布局,突出产品特性(红色 button)。

第一步:设定指标

既然目标是提升点赞率,核心指标为点击率 = 点击次数 / 展示次数。

第二步:随机分组 & 流量分配

假设施加网站的 DAU 约为 1 亿,每个实验组分配 1% 流量即可满足统计需求。

组别流量日均体验人数
A 组(对照组)1%约 100 万
B 组(实验组)1%约 100 万

实验期间每天约有 200 万 用户会被重定向到 A 或 B 的产品页面,分别体验旧版或新版点赞样式。

第三步:空转期数据对比

组别空转期点赞率
A 组(对照组)3.42%
B 组(实验组)3.34%
Diff.-0.08 pp

两组存在 -0.08 pp(百分点) 的基准偏差(B 组天然偏低)。

第四步:正式实验期数据

组别实验期点赞率
A 组(对照组)3.44%
B 组(实验组)3.84%

由于 B 组天然落后 0.08 pp,需将偏差补回以获得真实效果:

B 组修正后 = 3.84% + 0.08% = 3.89%(视频文稿亦写作 3.81% + 0.08% = 3.89%,数据口径略异但逻辑一致)

至此,实验组真实表现明显优于对照组。

第五步:显著性判断

仅凭数值差距不足以得出结论——必须排除随机波动的影响。

  • 观测时间应覆盖足够长(建议至少一周、半个月),以规避周期性干扰。
  • 接下来进行显著性校验(Z 检验)。

第六步:决策

若版本 B 经检验确为显著提高,则网站可正式上线新版本 B,取代原有的版本 A。

额外提醒:实验效果的衰减性

  • 新鲜感效应: 用户可能因新样式好奇而点击,新鲜感消退后效果可能大幅回落。
  • 策略类实验的季节性: 某些策略在特定时期(如春季)效果显著,但在其他时期(如冬季)可能呈现负向,需结合业务上下文理解。

显著性检验(Z 校验)详解

为什么需要显著性检验

只有确认点击率的提升来自实验本身而非人群噪声,决策才可靠。

Z 检验四步法(基于正态分布的假设检验)

假设设定

  • 零假设 H₀: p₁ = p₂(两组点击率无差异)
  • 备择假设 H₁: p₁ ≠ p₂(两组点击率有差异)

第一步:换算为绝对人数

  • A 组:3.44% × 1,000,000 = 34,400 次点赞
  • B 组:3.84% × 1,000,000 = 38,400 次点赞(取修正前值便于演示;也可用修正后 3.89% ≈ 38,900)
  • 两者差约 4,500 人。

第二步:计算合并比例 p̂

当 H₀ 成立时,两组应有相同的真实点击率,故将数据合并估算共同点击率:

p̂ = (34,400 + 38,900) / (1,000,000 + 1,000,000)
    ≈ 3.665%

即如果两组真的没有差异,整体点击率应约为 3.665%。

第三步:计算标准误差 SE

标准误差衡量”在真实率为 p̂ 的情况下,每组因随机性产生的正常波动范围有多宽”:

SE = √[ p̂(1 - p̂) × (1/n₁ + 1/n₂) ]
   = 总体标准差 ÷ 样本量平方根(简化表述)

在 n = 100 万的规模下,点击率的正常波动约为 0.027 pp。

第四步:计算 Z 统计量并判断

Z = (观察到的差异) / (正常波动范围)
  = (3.89% - 3.44%) / SE
  ≈ 16.94

含义: 观察到的差异是正常随机波动的 16.94 倍,极端异常。

根据中心极限定理(CLT),在大样本条件下无论原始数据是否正态,样本均值分布均趋近正态分布。查标准正态表得:

Z = 16.94 对应的 P 值 ≈ 0,远低于常规阈值 α = 0.05(对应临界值 Z ≈ 1.96)。

因此拒绝零假设 H₀,接受备择假设:B 组点赞率确实显著高于 A 组。


正交实验

正交 vs. 互斥

从韦恩图可知:

  • 互斥实验: 不同实验的流量层不重叠,每组用户只参与一个实验。
  • 正交实验: 各实验的流量层相互独立交叉,允许同时运行多个实验而不互相干扰。

正交实验设计思路

以”B 站点赞样式优化”为例,若还需考虑点赞按钮颜色这一因素,可同时引入两层正交流量:

流量层 1(颜色维度)流量层 2(样式维度)
橙色点赞 button样式 A(旧版)
红色点赞 button样式 B(新版)

两组流量交叉后可形成 4 个实验组:

实验组颜色样式
组 1橙色A
组 2橙色B
组 3红色A
组 4红色B

每个组仍按前述完整流程(空转 → 实验 → 显著性校验)独立评估,再通过维度拆分识别颜色、样式各自的贡献。


公式汇总

最小样本量估算(参考):

        (Z_(α/2) + Z_β)² × [p₁(1-p₁) + p₂(1-p₂)]
n = ──────────────────────────────────────────────
                           (p₁ - p₂)²
  • α:第一类错误概率(通常取 0.05)
  • β:第二类错误概率(通常取 0.2,统计功效 = 1-β = 0.8)
  • p₁、p₂:对照组与实验组的预期点击率

Z 检验统计量(双样本比例):

              x₁/n₁ - x₂/n₂
Z = ───────────────────────────────────────
     √[ p̂(1-p̂)(1/n₁ + 1/n₂) ]

其中 p̂ = (x₁ + x₂) / (n₁ + n₂)  (合并点击率)
      x₁、x₂:A/B 组的点击次数
      n₁、n₂:A/B 组的展示次数

笔记要点速查

概念关键结论
A/B 测试本质随机分群对比,控制唯一变量,评估因果效果
空转(AA)验证流量同质性,周期约一周;非同质可重抽或用 DID 校正
偏差修正实验期结果需补回空转期的组间差值
Z 检验核心Z > 1.96(α=0.05)→ 拒绝 H₀,差异显著
显著性 vs. 实务P≈0 属于极端情况,实际生产如发现需复核数据与计算过程
正交实验多因素同时实验,流量层交叉互不干扰,效率更高
实验效果衰减注意新鲜感效应与季节性因素,长期观察更为可靠

相关笔记