📋 本节要解决的问题¶
| # | 问题 | 方法 |
|---|---|---|
| 1 | 转化率差异显著吗? | z 检验(比率) |
| 2 | 平均值差异显著吗? | t 检验 |
| 3 | 样本量要多大? | 功效公式 |
| 4 | 分组是否均匀? | AA 检验 / SRM |
| 5 | 看结果看太多次会怎样? | peeking 陷阱 |
Copied!
import numpy as np
import scipy.stats as st
rng = np.random.default_rng(17)
# 模拟 AB:对照组转化率 p=0.10,实验组 p=0.12,每组 3000 人
n = 3000
ctrl = rng.binomial(1, 0.10, n)
exp = rng.binomial(1, 0.12, n)
print(f'对照组转化率: {ctrl.mean():.4f} 实验组转化率: {exp.mean():.4f}')
print(f'绝对提升: {(exp.mean()-ctrl.mean()):.4f} 相对提升: {(exp.mean()/ctrl.mean()-1):.2%}')
import numpy as np
import scipy.stats as st
rng = np.random.default_rng(17)
# 模拟 AB:对照组转化率 p=0.10,实验组 p=0.12,每组 3000 人
n = 3000
ctrl = rng.binomial(1, 0.10, n)
exp = rng.binomial(1, 0.12, n)
print(f'对照组转化率: {ctrl.mean():.4f} 实验组转化率: {exp.mean():.4f}')
print(f'绝对提升: {(exp.mean()-ctrl.mean()):.4f} 相对提升: {(exp.mean()/ctrl.mean()-1):.2%}')
对照组转化率: 0.0990 实验组转化率: 0.1160 绝对提升: 0.0170 相对提升: 17.17%
1️⃣ 转化率差异:z 检验(两比例检验)¶
✍️ §1.1 手算 AB 检验:转化率 10%→13%,是不是真的涨了?¶
两比例 $z$ 检验:$z=\frac{\hat p_2-\hat p_1}{\text{SE}}$,$\text{SE}=\sqrt{\hat p(1-\hat p)(\frac1{n_1}+\frac1{n_2})}$——手算完整流程,看懂"显著"怎么来。
设定:对照组 $n_1=1000$、转化 $100$($\hat p_1=0.10$);实验组 $n_2=1000$、转化 $130$($\hat p_2=0.13$)。
第 1 步:合并比例
$$\hat p=\frac{100+130}{2000}=0.115$$
第 2 步:标准误
$$\text{SE}=\sqrt{0.115\times0.885\times(\tfrac1{1000}+\tfrac1{1000})}=\sqrt{0.0002036}=0.01427$$
第 3 步:z 统计量与 p 值
$$z=\frac{0.13-0.10}{0.01427}=\mathbf{2.10},\qquad p=2\times(1-\Phi(2.10))\approx\mathbf{0.036}<0.05$$
结论:$p<0.05$ → 拒绝 $H_0$,转化率提升显著。
手算收获:
- z 检验本质是"差异 / 抽样误差":差 3 个点、误差 1.4 个点 → 2.1 倍误差之外,小概率事件 → 显著
- 合并比例 $\hat p$ 只在 $H_0$(两比例相等)下最优——检验统计量分母用合并版、置信区间用分开版(易混点)
- p 值 = "H0 为真时看到这么大差异的概率":p=0.036 意味着纯随机只有 3.6% 概率出现≥2.1 倍的差异
- 陷阱呼应:真实验证要防止 peeking(中途反复看 p 值会抬假阳性,§5 演示)与 AA 检验分流偏差(§4)
下面 numpy 复算。
Copied!
# ---- §1.1 验证:numpy 复算 AB z 检验 ----
from math import erf, sqrt
n1 = n2 = 1000
p1, p2 = 100 / n1, 130 / n2
p_hat = (100 + 130) / (n1 + n2)
SE = sqrt(p_hat * (1 - p_hat) * (1 / n1 + 1 / n2))
z = (p2 - p1) / SE
def Phi(x):
return 0.5 * (1 + erf(x / sqrt(2)))
pval = 2 * (1 - Phi(abs(z)))
print(f'p̂ = {p_hat:.4f}, SE = {SE:.5f}, z = {z:.3f}, p = {pval:.4f}')
assert abs(p_hat - 0.115) < 1e-9
assert abs(z - 2.10) < 0.01 and pval < 0.05
print('\n✓ 与手算一致:提升显著')
# ---- §1.1 验证:numpy 复算 AB z 检验 ----
from math import erf, sqrt
n1 = n2 = 1000
p1, p2 = 100 / n1, 130 / n2
p_hat = (100 + 130) / (n1 + n2)
SE = sqrt(p_hat * (1 - p_hat) * (1 / n1 + 1 / n2))
z = (p2 - p1) / SE
def Phi(x):
return 0.5 * (1 + erf(x / sqrt(2)))
pval = 2 * (1 - Phi(abs(z)))
print(f'p̂ = {p_hat:.4f}, SE = {SE:.5f}, z = {z:.3f}, p = {pval:.4f}')
assert abs(p_hat - 0.115) < 1e-9
assert abs(z - 2.10) < 0.01 and pval < 0.05
print('\n✓ 与手算一致:提升显著')
p̂ = 0.1150, SE = 0.01427, z = 2.103, p = 0.0355 ✓ 与手算一致:提升显著
Copied!
# 两比例 z 检验:H0: p1 == p2
p1, p2 = ctrl.mean(), exp.mean()
p_pool = (ctrl.sum() + exp.sum()) / (2 * n)
se = np.sqrt(p_pool * (1 - p_pool) * (2 / n))
z = (p2 - p1) / se
p_value = 2 * (1 - st.norm.cdf(abs(z)))
# scipy 对照
z_chi2, p_chi2, _, _ = st.chi2_contingency([[ctrl.sum(), n-ctrl.sum()],
[exp.sum(), n-exp.sum()]])
print(f'手写: z = {z:.3f}, p 值 = {p_value:.4f}')
print(f'scipy 卡方(等价): p 值 = {p_chi2:.4f}')
assert p_value < 0.05
print(f'\n✅ p < 0.05 → 差异显著,可以拒绝 H0(实验组转化率显著更高)')
# 两比例 z 检验:H0: p1 == p2
p1, p2 = ctrl.mean(), exp.mean()
p_pool = (ctrl.sum() + exp.sum()) / (2 * n)
se = np.sqrt(p_pool * (1 - p_pool) * (2 / n))
z = (p2 - p1) / se
p_value = 2 * (1 - st.norm.cdf(abs(z)))
# scipy 对照
z_chi2, p_chi2, _, _ = st.chi2_contingency([[ctrl.sum(), n-ctrl.sum()],
[exp.sum(), n-exp.sum()]])
print(f'手写: z = {z:.3f}, p 值 = {p_value:.4f}')
print(f'scipy 卡方(等价): p 值 = {p_chi2:.4f}')
assert p_value < 0.05
print(f'\n✅ p < 0.05 → 差异显著,可以拒绝 H0(实验组转化率显著更高)')
手写: z = 2.126, p 值 = 0.0335 scipy 卡方(等价): p 值 = 0.0372 ✅ p < 0.05 → 差异显著,可以拒绝 H0(实验组转化率显著更高)
2️⃣ 均值差异:t 检验(如人均时长、客单价)¶
Copied!
# 实验组人均时长提升 5 分钟,组内波动 σ=18
dur_ctrl = rng.normal(180, 18, n)
dur_exp = rng.normal(185, 18, n)
t_stat, p_t = st.ttest_ind(dur_exp, dur_ctrl)
print(f't = {t_stat:.3f}, p 值 = {p_t:.4f}')
assert p_t < 0.05
# 95% 置信区间(均值差)
se_diff = np.sqrt(18**2/n + 18**2/n)
diff_mean = dur_exp.mean() - dur_ctrl.mean()
ci = (diff_mean - 1.96*se_diff, diff_mean + 1.96*se_diff)
print(f'均值差 = {diff_mean:.2f} 分钟,95% CI = [{ci[0]:.2f}, {ci[1]:.2f}]')
print('✅ CI 不含 0,结论与 t 检验一致')
# 实验组人均时长提升 5 分钟,组内波动 σ=18
dur_ctrl = rng.normal(180, 18, n)
dur_exp = rng.normal(185, 18, n)
t_stat, p_t = st.ttest_ind(dur_exp, dur_ctrl)
print(f't = {t_stat:.3f}, p 值 = {p_t:.4f}')
assert p_t < 0.05
# 95% 置信区间(均值差)
se_diff = np.sqrt(18**2/n + 18**2/n)
diff_mean = dur_exp.mean() - dur_ctrl.mean()
ci = (diff_mean - 1.96*se_diff, diff_mean + 1.96*se_diff)
print(f'均值差 = {diff_mean:.2f} 分钟,95% CI = [{ci[0]:.2f}, {ci[1]:.2f}]')
print('✅ CI 不含 0,结论与 t 检验一致')
t = 11.310, p 值 = 0.0000 均值差 = 5.26 分钟,95% CI = [4.35, 6.17] ✅ CI 不含 0,结论与 t 检验一致
3️⃣ 样本量估算(功效分析)¶
Copied!
# 两比例样本量:n ≈ (z_α/2 + z_β)² · (p1(1-p1)+p2(1-p2)) / δ²
alpha, power = 0.05, 0.80
z_alpha = st.norm.ppf(1 - alpha/2)
z_beta = st.norm.ppf(power)
p1, p2 = 0.10, 0.12
delta = p2 - p1
n_needed = (z_alpha + z_beta)**2 * (p1*(1-p1) + p2*(1-p2)) / delta**2
print(f'需要样本量(每组): {np.ceil(n_needed):.0f}')
# 说明:n 随 α↓、β↓、效应 δ↓、方差↑ 而增大
print('\n➡️ 关系:δ 越小要越多样本;要求功效越高要越多样本;波动越大要越多样本')
# 两比例样本量:n ≈ (z_α/2 + z_β)² · (p1(1-p1)+p2(1-p2)) / δ²
alpha, power = 0.05, 0.80
z_alpha = st.norm.ppf(1 - alpha/2)
z_beta = st.norm.ppf(power)
p1, p2 = 0.10, 0.12
delta = p2 - p1
n_needed = (z_alpha + z_beta)**2 * (p1*(1-p1) + p2*(1-p2)) / delta**2
print(f'需要样本量(每组): {np.ceil(n_needed):.0f}')
# 说明:n 随 α↓、β↓、效应 δ↓、方差↑ 而增大
print('\n➡️ 关系:δ 越小要越多样本;要求功效越高要越多样本;波动越大要越多样本')
需要样本量(每组): 3839 ➡️ 关系:δ 越小要越多样本;要求功效越高要越多样本;波动越大要越多样本
4️⃣ AA 检验:分组是否真的均匀¶
Copied!
# AA 检验:两组的旧指标应无显著差异,否则说明分流有问题(SRM)
aa1 = rng.normal(100, 15, 1000)
aa2 = rng.normal(100, 15, 1000)
t_aa, p_aa = st.ttest_ind(aa1, aa2)
print(f'AA 检验: t={t_aa:.3f}, p={p_aa:.3f} → {"通过(无显著差异)" if p_aa>0.05 else "异常!"}')
# SRM:实际分流比例若偏离 50/50 太多,说明用户被系统性地分到某组
n_total = 20000
actual_a = rng.binomial(n_total, 0.5)
chi2_srm, p_srm = st.chisquare([actual_a, n_total-actual_a], f_exp=[n_total/2, n_total/2])
print(f'SRM 卡方: p={p_srm:.3f} → 分流比例正常' if p_srm>0.01 else 'SRM 异常')
assert p_aa > 0.05
print('✅ AA 通过')
# AA 检验:两组的旧指标应无显著差异,否则说明分流有问题(SRM)
aa1 = rng.normal(100, 15, 1000)
aa2 = rng.normal(100, 15, 1000)
t_aa, p_aa = st.ttest_ind(aa1, aa2)
print(f'AA 检验: t={t_aa:.3f}, p={p_aa:.3f} → {"通过(无显著差异)" if p_aa>0.05 else "异常!"}')
# SRM:实际分流比例若偏离 50/50 太多,说明用户被系统性地分到某组
n_total = 20000
actual_a = rng.binomial(n_total, 0.5)
chi2_srm, p_srm = st.chisquare([actual_a, n_total-actual_a], f_exp=[n_total/2, n_total/2])
print(f'SRM 卡方: p={p_srm:.3f} → 分流比例正常' if p_srm>0.01 else 'SRM 异常')
assert p_aa > 0.05
print('✅ AA 通过')
AA 检验: t=-0.409, p=0.683 → 通过(无显著差异) SRM 卡方: p=0.641 → 分流比例正常 ✅ AA 通过
5️⃣ peeking 陷阱:看结果看太多次¶
Copied!
# 演示:如果每次新增 200 用户就看一次显著性,假阳性率会飙升
# 模拟 H0 为真(两组无差异),但反复 peek
n_peeks = 10
trial = 500
false_pos = 0
for _ in range(trial):
hit = False
for k in range(1, n_peeks+1):
a = rng.normal(0, 1, 200*k)
b = rng.normal(0, 1, 200*k)
_, p = st.ttest_ind(a, b)
if p < 0.05:
hit = True
false_pos += hit
print(f'peek 10 次,假阳性率: {false_pos/trial:.1%}(固定 α=5%,应约为 5%)')
assert false_pos/trial > 0.15
print('\n✅ 演示成功:连续监控会显著抬高假阳性率 → 事前定样本量与观察期')
# 演示:如果每次新增 200 用户就看一次显著性,假阳性率会飙升
# 模拟 H0 为真(两组无差异),但反复 peek
n_peeks = 10
trial = 500
false_pos = 0
for _ in range(trial):
hit = False
for k in range(1, n_peeks+1):
a = rng.normal(0, 1, 200*k)
b = rng.normal(0, 1, 200*k)
_, p = st.ttest_ind(a, b)
if p < 0.05:
hit = True
false_pos += hit
print(f'peek 10 次,假阳性率: {false_pos/trial:.1%}(固定 α=5%,应约为 5%)')
assert false_pos/trial > 0.15
print('\n✅ 演示成功:连续监控会显著抬高假阳性率 → 事前定样本量与观察期')
peek 10 次,假阳性率: 41.2%(固定 α=5%,应约为 5%) ✅ 演示成功:连续监控会显著抬高假阳性率 → 事前定样本量与观察期
6️⃣ 完整 AB 实验流程(必背)¶
- 定假设:H0 无差异 / H1 有提升;选好主指标与护栏指标;
- 定样本量:按 α、β、MDE、基线波动估算,预留观察天数;
- 随机分流:用户级/设备级,互斥且均匀(AA/SRM 校验);
- 跑实验:固定时长,不提前看结果(防 peeking);
- 分析:显著性 + 效应量 + 置信区间 + 分层看(防辛普森悖论);
- 决策:显著且业务可接受 → 上线;不显著 → 复盘原因。
面试高频追问:样本量公式怎么推、SRM 怎么查、peeking 为什么不行、delta 怎么定、护栏指标是什么。
📝 自测清单¶
- 能写出两比例 z 检验统计量并解释 p 值
- 能说出 t 检验与 z 检验的适用场景
- 能按 α/β/δ/σ 说出样本量的依赖关系
- 能解释 AA/SRM 的作用与异常后果
- 能解释 peeking 为什么会抬高假阳性
- 能背出 AB 实验六步流程