AB 实验:设计与显著性检验
系统讲解互联网产品常用的 A/B Testing 方法,涵盖实验流程、空转(AA Testing)、显著性检验(Z 校验),以及多因素正交实验的设计思路。以 B 站点赞样式优化为贯穿案例,建立从实验设计到数据分析决策的完整认知。
AB 实验概述
什么是 AB 实验
AB 实验(AB Testing)是一种用于比较两个或多个版本差异的实验性方法,常应用于网站、应用程序或营销策略中。基本做法是将用户随机分配到至少两组,分别展示不同变体(如 A 和 B),然后分析用户行为数据,以确定哪个变体更能达成预期业务目标。
示例: 对 A、B 两群体投放不同页面样式,观察点击率高低后决定推广哪种样式。
核心原则:随机分配。 用户需被随机分到各实验组且样本量足够大,确保组间唯一差异仅为被测变体,从而排除其他变量干扰,提升实验置信度。
AB 实验流程
- 设定目标与指标 — 明确实验目的及观测指标;搜推场景常看搜索/推荐内容的点击率。若当前无法统计,需提前在前端埋点。
- 制定实验方案 — 确定对照组与实验组的干预手段。
- 随机分组 — 借助公司平台生成随机实验/对照组。
- 空转(AA Testing) — 先运行一段时间验证流量组同质性。
- 运行实验并采集数据 — 对比两组指标表现。
- 数据分析 — 关注波动情况;若单日结果不稳定(正向→负向),可延长至一周甚至更久再评估。
- 做出决策 — 若实验组相对对照组显著正向,则推全实验组方案。
空转(AA Testing)
定义与作用
空转即 AA Testing,周期一般为一周,目的是验证两个流量组是否为同质用户。
同质用户定义: 两组的 PV、UV 及观测指标处于同一水平线(差异极小)。
非同质情况的处理
出现较大偏差时有两种处理方式:
- 重新抽取流量,或一次性抽取多个流量组,选择表现平稳的两组再进入正式实验。
- 使用 DID(Difference-in-Differences,双重差分法) 估算并扣除两组间的初始偏差(假设该偏差在 AA 阶段到 AB 阶段保持不变)。
案例推演:B 站点赞样式优化
背景设定
某 CTB 团队负责 B 站产品经理提出优化”点赞”按钮样式的需求,目标是提高用户点赞率。提供两套设计方案:
- 版本 A(对照组): 现有点赞样式(橙色 button)。
- 版本 B(实验组): 新设计样式,改变了颜色与布局,突出产品特性(红色 button)。
第一步:设定指标
既然目标是提升点赞率,核心指标为点击率 = 点击次数 / 展示次数。
第二步:随机分组 & 流量分配
假设施加网站的 DAU 约为 1 亿,每个实验组分配 1% 流量即可满足统计需求。
| 组别 | 流量 | 日均体验人数 |
|---|---|---|
| A 组(对照组) | 1% | 约 100 万 |
| B 组(实验组) | 1% | 约 100 万 |
实验期间每天约有 200 万 用户会被重定向到 A 或 B 的产品页面,分别体验旧版或新版点赞样式。
第三步:空转期数据对比
| 组别 | 空转期点赞率 |
|---|---|
| A 组(对照组) | 3.42% |
| B 组(实验组) | 3.34% |
| Diff. | -0.08 pp |
两组存在 -0.08 pp(百分点) 的基准偏差(B 组天然偏低)。
第四步:正式实验期数据
| 组别 | 实验期点赞率 |
|---|---|
| A 组(对照组) | 3.44% |
| B 组(实验组) | 3.84% |
由于 B 组天然落后 0.08 pp,需将偏差补回以获得真实效果:
B 组修正后 = 3.84% + 0.08% = 3.89%(视频文稿亦写作 3.81% + 0.08% = 3.89%,数据口径略异但逻辑一致)
至此,实验组真实表现明显优于对照组。
第五步:显著性判断
仅凭数值差距不足以得出结论——必须排除随机波动的影响。
- 观测时间应覆盖足够长(建议至少一周、半个月),以规避周期性干扰。
- 接下来进行显著性校验(Z 检验)。
第六步:决策
若版本 B 经检验确为显著提高,则网站可正式上线新版本 B,取代原有的版本 A。
额外提醒:实验效果的衰减性
- 新鲜感效应: 用户可能因新样式好奇而点击,新鲜感消退后效果可能大幅回落。
- 策略类实验的季节性: 某些策略在特定时期(如春季)效果显著,但在其他时期(如冬季)可能呈现负向,需结合业务上下文理解。
显著性检验(Z 校验)详解
为什么需要显著性检验
只有确认点击率的提升来自实验本身而非人群噪声,决策才可靠。
Z 检验四步法(基于正态分布的假设检验)
假设设定
- 零假设 H₀: p₁ = p₂(两组点击率无差异)
- 备择假设 H₁: p₁ ≠ p₂(两组点击率有差异)
第一步:换算为绝对人数
- A 组:3.44% × 1,000,000 = 34,400 次点赞
- B 组:3.84% × 1,000,000 = 38,400 次点赞(取修正前值便于演示;也可用修正后 3.89% ≈ 38,900)
- 两者差约 4,500 人。
第二步:计算合并比例 p̂
当 H₀ 成立时,两组应有相同的真实点击率,故将数据合并估算共同点击率:
p̂ = (34,400 + 38,900) / (1,000,000 + 1,000,000)
≈ 3.665%
即如果两组真的没有差异,整体点击率应约为 3.665%。
第三步:计算标准误差 SE
标准误差衡量”在真实率为 p̂ 的情况下,每组因随机性产生的正常波动范围有多宽”:
SE = √[ p̂(1 - p̂) × (1/n₁ + 1/n₂) ]
= 总体标准差 ÷ 样本量平方根(简化表述)
在 n = 100 万的规模下,点击率的正常波动约为 0.027 pp。
第四步:计算 Z 统计量并判断
Z = (观察到的差异) / (正常波动范围)
= (3.89% - 3.44%) / SE
≈ 16.94
含义: 观察到的差异是正常随机波动的 16.94 倍,极端异常。
根据中心极限定理(CLT),在大样本条件下无论原始数据是否正态,样本均值分布均趋近正态分布。查标准正态表得:
Z = 16.94 对应的 P 值 ≈ 0,远低于常规阈值 α = 0.05(对应临界值 Z ≈ 1.96)。
因此拒绝零假设 H₀,接受备择假设:B 组点赞率确实显著高于 A 组。
正交实验
正交 vs. 互斥
从韦恩图可知:
- 互斥实验: 不同实验的流量层不重叠,每组用户只参与一个实验。
- 正交实验: 各实验的流量层相互独立交叉,允许同时运行多个实验而不互相干扰。
正交实验设计思路
以”B 站点赞样式优化”为例,若还需考虑点赞按钮颜色这一因素,可同时引入两层正交流量:
| 流量层 1(颜色维度) | 流量层 2(样式维度) |
|---|---|
| 橙色点赞 button | 样式 A(旧版) |
| 红色点赞 button | 样式 B(新版) |
两组流量交叉后可形成 4 个实验组:
| 实验组 | 颜色 | 样式 |
|---|---|---|
| 组 1 | 橙色 | A |
| 组 2 | 橙色 | B |
| 组 3 | 红色 | A |
| 组 4 | 红色 | B |
每个组仍按前述完整流程(空转 → 实验 → 显著性校验)独立评估,再通过维度拆分识别颜色、样式各自的贡献。
公式汇总
最小样本量估算(参考):
(Z_(α/2) + Z_β)² × [p₁(1-p₁) + p₂(1-p₂)]
n = ──────────────────────────────────────────────
(p₁ - p₂)²
- α:第一类错误概率(通常取 0.05)
- β:第二类错误概率(通常取 0.2,统计功效 = 1-β = 0.8)
- p₁、p₂:对照组与实验组的预期点击率
Z 检验统计量(双样本比例):
x₁/n₁ - x₂/n₂
Z = ───────────────────────────────────────
√[ p̂(1-p̂)(1/n₁ + 1/n₂) ]
其中 p̂ = (x₁ + x₂) / (n₁ + n₂) (合并点击率)
x₁、x₂:A/B 组的点击次数
n₁、n₂:A/B 组的展示次数
笔记要点速查
| 概念 | 关键结论 |
|---|---|
| A/B 测试本质 | 随机分群对比,控制唯一变量,评估因果效果 |
| 空转(AA) | 验证流量同质性,周期约一周;非同质可重抽或用 DID 校正 |
| 偏差修正 | 实验期结果需补回空转期的组间差值 |
| Z 检验核心 | Z > 1.96(α=0.05)→ 拒绝 H₀,差异显著 |
| 显著性 vs. 实务 | P≈0 属于极端情况,实际生产如发现需复核数据与计算过程 |
| 正交实验 | 多因素同时实验,流量层交叉互不干扰,效率更高 |
| 实验效果衰减 | 注意新鲜感效应与季节性因素,长期观察更为可靠 |
相关笔记
- 幻觉率、准确率、拒答率联合评估 — 离线评估侧的指标口径与权衡(线上 AB 实验的离线补充)
- 3分类评估指标对比(交互工具) — 分类指标口径:Macro / Weighted / Micro
- 面试收集 MOC — 面试专题研究索引