import numpy as np
import matplotlib.pyplot as plt
plt.rcParams['font.sans-serif'] = ['Microsoft YaHei', 'SimHei', 'DejaVu Sans']
plt.rcParams['axes.unicode_minus'] = False
print('✓ numpy / matplotlib 就绪(全 notebook 共用环境)')
plt.show()
✓ numpy / matplotlib 就绪(全 notebook 共用环境)
📋 03 · 数据科学面试八股与高频题¶
统计推断 · AB 实验 · 因果推断 · 业务指标:一张速查卡覆盖面试高频考点,配手撕代码验证。
定位:30 分钟速刷。先看知识谱系 → 模块连问速答(每问「一句话+点火」)→ 手撕 3 段代码 → 追问模板 → 自测打勾。
🗂️ 使用指南(30 分钟速刷法)¶
- 前 3 分钟:浏览知识谱系树,定位自己的盲区;
- 中间 15 分钟:按模块连问自答(捂住答案先讲,再对照点火);
- 后 10 分钟:手撕代码(z 检验 / 两比例 / DID)+ 背追问模板;
- 最后 2 分钟:20 条自测打勾,红叉项当天补 00-02 对应 notebook。
🧭 知识谱系树(面试考点地图)¶
统计推断 CLT → 点/区间估计 → z/t/χ²/F 检验 → 功效样本量 → 多重比较
AB 实验 设计五要素 → 样本量 → 分流 → 比例z/均值t → AA/SRM → CUPED/GAUC
因果推断 潜在结果 → DAG/混淆 → PSM/IPW → DID → RDD/IV → Uplift/CATE
业务指标 北极星 → 漏斗 → 留存/DAU → 辛普森 → 涨跌归因
面试连招:概念 → 公式 → 复杂度/数值 → 对比 → 工程落地。
📊 统计推断 8 问速答(上)¶
Q1 CLT? 独立同分布、方差有限 → 样本均值 $\bar X \sim N(\mu,\sigma^2/n)$,不要求总体正态;n≥30 经验线。
Q2 方差为什么除 n-1? 均值由同一样本估计,自由度减 1;否则低估方差(有偏)。
Q3 p 值怎么定义? H₀ 为真时观察到「当前或更极端」结果的概率;不是 H₁ 成立的概率。
Q4 两类错误? α=误报(拒绝真 H₀),β=漏报(接受假 H₀);功效 1-β;两者此消彼长,样本量可同时压低。
Q5 z vs t? σ 已知用 z、未知用 t(自由度 n-1);双样本方差齐用合并 t,不齐用 Welch;n 大趋同。
Q6 χ² 检验? $\chi^2=\sum(O-E)^2/E$,$E_{ij}=行和×列和/N$,自由度 $(r-1)(c-1)$;期望频数≥5。
Q7 ANOVA? $F=\frac{SS_B/(k-1)}{SS_W/(N-k)}$;显著只说明至少一组不同,事后 Tukey;两样本时 $t^2=F$。
Q8 样本量? $n \approx \frac{2(z_{1-\alpha/2}+z_{1-\beta})^2}{d^2}$;三要素 α、功效、效应量。
📊 统计推断 8 问速答(下)¶
Q9 置信区间? 95% CI = 重复抽样 95% 覆盖真值的区间;$\bar x \pm z_{1-\alpha/2}\cdot SE$;bootstrap 不依赖正态。
Q10 显著性 vs 效应量? p 小只说明「差异不太可能是 0」,效应量(Cohen's d)+ 业务提升 % 才是决策依据。
Q11 多重比较? Bonferroni $\alpha/m$ 控制 FWER(保守);BH-FDR:$p_{(k)}\le\alpha k/m$ 控制误报比例(主流)。
Q12 分布选择? 均值→t/z;比例→二项正态近似(n 大)/Fisher;频数→χ²;右偏→对数变换/伽马。
Q13 离群值? 先查数据质量(埋点/异常设备),再稳健统计量(中位数/IQR、Winsorize)、稳健回归(Huber)。
Q14 相关 vs 回归? 相关度量线性关联强度(无方向);回归给出「X 变 1 单位 Y 变多少」,可控制协变量——但要小心混淆。
Q15 多重共线性? VIF>10 警惕;症状:系数不稳、符号反转;处理:删特征/正则(岭)/PCA。
Q16 过拟合怎么防? 交叉验证、正则 L1/L2、早停、数据增强、集成;业务上要「线上验证」最终裁决。
🧪 AB 实验 8 问速答(上)¶
Q1 流程? 定义目标 → 假设 → 指标 → 样本量 → 分流 → 跑 → 检验 → 决策;实验单元/时长/护栏别忘。
Q2 样本量怎么算? 由基线 p₀、MDE、α、功效定;比例用 $n=\frac{(z_α+z_β)^2(p_1(1-p_1)+p_2(1-p_2))}{MDE^2}$。
Q3 怎么分流? 哈希(id+盐)分桶;分层随机保特征层内 50/50;盐保证实验间正交。
Q4 转化率检验? 两比例 z($z^2=\chi^2_{(1)}$);均值用 t + Cohen's d;都要报 CI。
Q5 AA 检验? 同策略两组 p 应均匀、误报≈5%;显著=分流/埋点坏了。
Q6 SRM? A/B 人数偏离 50/50 超误差=样本量比例失衡 → 分流被污染,先修再跑。
Q7 怎么提功效? 加样本、降方差(CUPED $Y-\theta(X-\bar X)$ 降 $1-\rho^2$、GAUC 按用户加权)、选更稳指标。
Q8 peeking/早停? 提前看 p 值膨胀误报;用序贯检验或固定时长;显著性≠稳定,多跑几天看趋势。
🧪 AB 实验 8 问速答(下)¶
Q9 多个指标一起看? 20 个指标必有假阳性 → 预注册主指标 + FDR 校正;护栏指标(体验/收入)一票否决。
Q10 结果不显著但想上? 看效应方向 + CI 上界:是否仍有利?若 MDE 内不显著 → 可能功效不足 → 延长或降方差。
Q11 辛普森悖论? 总体无差异、分层有差异(或反之)→ 混淆变量(如新老用户)→ 分层看+预注册分层。
Q12 实验污染? 用户跨实验/社交传播/同设备多账号 → 隔离桶、追踪单元、白名单。
Q13 Novelty 效应? 新功能短期兴奋 → 周期拉长,看留存/次周活跃。
Q14 全球 vs 地区? 不同市场基线差 → 分层/按市场独立实验,全局显著性可能掩盖局部反转。
Q15 数据不够? 降方差 > 加流量 > 降显著水平;也可「准实验 + 匹配」但标注证据级别降级。
Q16 放量条件? 显著 + 效应≥MDE + 护栏不坏 + AA/SRM 通过 + 方向可解释。
🔗 因果推断 8 问速答¶
Q1 相关≠因果? 选择偏差:$E[Y|1]-E[Y|0] = ATE + \underbrace{E[Y(0)|1]-E[Y(0)|0]}_{偏差}$;混淆变量同时影响 T 和 Y。
Q2 ATE/ATT? ATE=整体平均处理效应;ATT=处理组内的效应;都基于反事实缺失。
Q3 随机化为什么好? T⊥X → 选择偏差=0 → 朴素差即 ATE(AB 金标准)。
Q4 倾向得分? $e(x)=P(T=1|x)$ 压缩协变量;给定 e 后 T⊥X;PSM 最近邻匹配 + 平衡性检查(SMD<0.1)。
Q5 IPTW? $w=T/e+(1-T)/(1-e)$,Hajek 归一化更稳;极端 e 截断;加权后平衡。
Q6 DID? 双重差分消除固定组间差+共同时间趋势;前提平行趋势;等价回归交互项 $G\times P$。
Q7 RDD? 断点两侧局部随机化;带宽敏感;需检查断点处协变量连续。
Q8 IV? Z 满足相关+排他+独立;2SLS 两阶段;用于处理变量内生(遗漏变量/反向因果)。
import numpy as np
from scipy import stats
np.random.seed(0)
# 手撕①:双样本 t(合并方差) + 效应量
def ttest_two(x, y):
nx, ny = len(x), len(y)
sp2 = ((nx-1)*x.var(ddof=1) + (ny-1)*y.var(ddof=1))/(nx+ny-2)
t = (x.mean()-y.mean())/np.sqrt(sp2*(1/nx+1/ny))
p = 2*(1 - stats.t.cdf(abs(t), nx+ny-2))
d = (x.mean()-y.mean())/np.sqrt(sp2)
return t, p, d
rng = np.random.RandomState(1)
a = rng.normal(5.0, 1.0, 80); b = rng.normal(5.5, 1.2, 80)
t, p, d = ttest_two(a, b)
tt, pt = stats.ttest_ind(a, b)
print('t=%.3f p=%.4f d=%.3f | scipy t=%.3f p=%.4f' % (t, p, d, tt, pt))
assert abs(p-pt) < 1e-9
print('✓ 手撕:双样本 t 检验(一场面试必写)')
t=-3.434 p=0.0008 d=-0.543 | scipy t=-3.434 p=0.0008 ✓ 手撕:双样本 t 检验(一场面试必写)
# 手撕②:两比例 z 检验(等价于 2×2 卡方)
def prop_ztest(x1, n1, x2, n2):
p1, p2 = x1/n1, x2/n2
pp = (x1+x2)/(n1+n2)
z = (p1-p2)/np.sqrt(pp*(1-pp)*(1/n1+1/n2))
return z, 2*(1 - stats.norm.cdf(abs(z)))
z, p = prop_ztest(132, 1000, 110, 1000)
chi2, pchi, _, _ = stats.chi2_contingency([[132, 868], [110, 890]], correction=False)
print('z = %.3f p = %.4f | χ² = %.3f, z² = %.3f' % (z, p, chi2, z**2))
assert abs(chi2 - z**2) < 1e-6
print('✓ 手撕:两比例 z(AB 实验主菜)')
# 手撕③:DID(双重差分)
rng = np.random.RandomState(2)
n = 400
G = rng.rand(n) < 0.5; P = rng.rand(n) < 0.5
y = 10 + 2*G + 3*P + 5*(G*P) + rng.normal(0, 1, n)
did = (y[G & P].mean()-y[G & ~P].mean()) - (y[~G & P].mean()-y[~G & ~P].mean())
X = np.column_stack([np.ones(n), G, P, G*P])
b, *_ = np.linalg.lstsq(X, y, rcond=None)
print('DID = %.3f | 回归交互项 = %.3f(真实 5.0)' % (did, b[3]))
print('✓ 手撕:DID(观察数据因果的万金油)')
z = 1.508 p = 0.1314 | χ² = 2.275, z² = 2.275 ✓ 手撕:两比例 z(AB 实验主菜) DID = 4.787 | 回归交互项 = 4.787(真实 5.0) ✓ 手撕:DID(观察数据因果的万金油)
💬 答完被「追问」别慌:一句话顶回去¶
- 「样本够吗?」→ 报样本量公式三要素,MDE 和基线定 n,再报实测功效;
- 「结果不显著怎么办?」→ 先查实验健康(AA/SRM)→ 看 CI 与方向 → 降方差(CUPED)→ 延长或加量;
- 「显著但不敢放量?」→ 效应量 vs MDE、护栏指标、长期风险(留存/收入);
- 「相关性能不能当因果用?」→ 画 DAG 找混淆;可忽略性 + 平衡性 + 敏感性分析;
- 「指标怎么选?」→ 北极星(留存/收入)× 护栏(体验)× 过程指标(漏斗),主次分明、预注册。
✍️ 手撕代码清单(按频率)¶
- 双样本 t(合并/Welch)+ Cohen's d;
- 两比例 z(z²=χ²);
- 样本量反解 + 蒙特卡洛功效;
- bootstrap CI;
- DID(含回归等价);
- logistic 回归(梯度下降)→ 倾向得分/IPW;
- BH-FDR 校正;
- CUPED 调整 + GAUC。
原则:写形状注释 → 写公式 → 数值断言/scipy 对照自证。
✅ 自测清单(20 条打勾项)¶
- CLT 与 n≥30;
- 方差 n-1 原因;
- p 值正确定义;
- α/β/功效关系;
- z vs t / 合并 vs Welch;
- χ² 公式与自由度;
- ANOVA F 与 t²=F;
- 样本量公式;
- CI 与 bootstrap;
- 显著性 vs 效应量;
- Bonferroni vs BH;
- AB 五要素与盐;
- 两比例 z;
- AA/SRM;
- CUPED/GAUC;
- peeking/早停/辛普森;
- 潜在结果与选择偏差;
- PSM/IPW 流程;
- DID/平行趋势;
- RDD/IV/2SLS。
🧭 复习路径(串联 00-02)¶
- 00 统计推断:所有检验的分布与自由度底座;
- 01 AB 实验:检验的工程化应用 + 降方差 + 坑;
- 02 因果推断:随机化之外的识别策略;
- 回刷本页自测,红叉项当天补对应 notebook;
配套仓库:本模块 4 本 notebook 可 python tools/exec_nbs.py 17-数据科学 一键验证。
# 手撕:bootstrap 差置信区间(不依赖正态假设)
def boot_ci(a, b, iters=1000, seed=0):
rng = np.random.RandomState(seed)
na, nb = len(a), len(b)
d = np.array([b[rng.randint(0, nb, nb)].mean() - a[rng.randint(0, na, na)].mean()
for _ in range(iters)])
return d.mean(), np.percentile(d, 2.5), np.percentile(d, 97.5)
rng = np.random.RandomState(4)
a = rng.binomial(1, 0.12, 500); b = rng.binomial(1, 0.15, 500)
d, lo, hi = boot_ci(a, b)
print('Bootstrap 差异 = %.3f, 95%% CI [%.3f, %.3f]' % (d, lo, hi))
print('✓ 手撕:bootstrap(AB 均值/比例差异的稳健 CI)')
Bootstrap 差异 = 0.028, 95% CI [-0.016, 0.072] ✓ 手撕:bootstrap(AB 均值/比例差异的稳健 CI)
📈 业务指标八股¶
- 北极星指标:单一长期价值指标(留存/收入/时长),团队对齐用;
- 漏斗:曝光→点击→转化,看环节流失率找瓶颈;
- 留存/DAU:同期群(cohort)视角——新用户按进入周分组,看次周/30 日留存衰减;
- 指标三性:可定义、可测量、可行动;指标变红先问:口径变了?数据坏了?产品真变了?
# 同期群留存模拟 + DAU 曲线
rng = np.random.RandomState(5)
weeks = 8
cohorts = np.array([200, 220, 250, 210, 260, 240, 230, 280])
ret = 0.8*np.exp(-np.arange(weeks)*0.35) + 0.05
M = np.zeros((weeks, weeks))
for c in range(weeks):
M[c, c:] = cohorts[c]*ret[:weeks-c]
plt.figure(figsize=(7.5, 3.2))
plt.subplot(1, 2, 1)
plt.imshow(M, origin='lower', aspect='auto', cmap='Blues')
plt.title('同期群留存热力图', fontsize=10); plt.xlabel('周'); plt.ylabel('进入周')
plt.subplot(1, 2, 2)
plt.plot(np.arange(weeks), M.sum(axis=0), 'o-')
plt.title('DAU 曲线', fontsize=10); plt.xlabel('周'); plt.ylabel('活跃用户')
plt.tight_layout(); plt.show()
print('次周留存 ≈ %.2f | 30 日留存 ≈ %.2f(同期群口径)' % (ret[1], ret[3]))
次周留存 ≈ 0.61 | 30 日留存 ≈ 0.33(同期群口径)
C:\Users\24260\AppData\Local\Temp\ipykernel_44888\936133236.py:16: UserWarning: FigureCanvasAgg is non-interactive, and thus cannot be shown plt.tight_layout(); plt.show()
📉 涨跌归因方法¶
指标跌了:先分层,再归因,后验证:
- 维度拆解:渠道/新老/地域/端 → 定位「哪个单元贡献了大部分跌幅」;
- 贡献分解:单元变化 × 单元占比加权;
- 排除口径:埋点/版本/节假日/统计窗口;
- 验证因果:不能归因于运营/活动变化时,用 DID/断点确认。
# 涨跌归因:按 渠道×新老 四单元拆解贡献
share = np.array([[0.30, 0.20], [0.25, 0.25]]) # 各单元用户占比
conv0 = np.array([[0.10, 0.08], [0.06, 0.05]]) # 基期转化率
conv1 = np.array([[0.11, 0.08], [0.065, 0.055]]) # 本期转化率
delta = conv1 - conv0
contrib = delta*share
print('转化率变化矩阵:', np.round(delta, 4))
print('加权贡献矩阵:', np.round(contrib, 4))
print('总提升 = %.4f(渠道A-新用户贡献最大:%.4f)' % (contrib.sum(), contrib[0, 0]))
print('✓ 归因 = 变化 × 占比:先定位单元,再解释为什么')
转化率变化矩阵: [[0.01 0. ] [0.005 0.005]] 加权贡献矩阵: [[0.003 0. ] [0.0013 0.0012]] 总提升 = 0.0055(渠道A-新用户贡献最大:0.0030) ✓ 归因 = 变化 × 占比:先定位单元,再解释为什么
🎯 终面场景题模板¶
- 「DAU 突然跌 10%,怎么办?」→ 先分层归因(维度×时间×版本)→ 查口径/埋点 → 再谈产品原因 → 提出验证方案;
- 「要不要上这个功能?」→ 假设 → 指标(北极星+护栏)→ 样本量 → 风险 → 实验验证;
- 「线上实验没效果?」→ 执行度(真分流了吗/量够吗)→ 污染(SRM)→ 效应量 vs MDE → 长期 vs 短期;
- 「怎么向老板汇报?」→ 结论先行 + 数据支撑 + 风险边界 + 下一步。
# 手撕:BH-FDR 校正(多指标实验必写)
def bh_fdr(pvals, alpha=0.05):
p = np.asarray(pvals, float); m = len(p)
order = np.argsort(p)
below = np.where(p[order] <= alpha*np.arange(1, m+1)/m)[0]
sig = np.zeros(m, bool)
if len(below): sig[order[:below.max()+1]] = True
return sig
rng = np.random.RandomState(6)
pvals = np.concatenate([rng.uniform(0, 0.002, 4), rng.uniform(0.05, 0.5, 26)])
sig = bh_fdr(pvals)
print('BH 判显著 %d/30(真阳 4 个)| FDR = %.2f' % (sig.sum(), sig[4:].sum()/max(sig.sum(), 1)))
print('✓ 手撕:BH(10 行内写完,面试加分项)')
BH 判显著 4/30(真阳 4 个)| FDR = 0.00 ✓ 手撕:BH(10 行内写完,面试加分项)
⚠️ 数据科学面试陷阱 10 条¶
- p 值当「效应大小」讲;
- 相关性直接上因果(不画 DAG);
- 样本量公式只背不推导;
- AA 检验忘了做就下结论;
- 显著=业务有用(忽略效应量/MDE);
- 多指标逐个 0.05 判(忘了 FDR);
- 拿总体留存代表新用户留存(辛普森);
- bootstrap 与正态 CI 混为一谈;
- DID 不问平行趋势、不跑安慰剂;
- 汇报只说数字不说口径与风险。
# 手撕:辛普森悖论——分层后加权平均
conv_old = np.array([0.15, 0.10]); conv_new = np.array([0.05, 0.02]) # 老/新两平台
n_old = np.array([80, 20]); n_new = np.array([20, 80]) # 版本A老用户多
# 版本A:新平台用户占比大(低转化平台权重高)
crA = np.array([0.15, 0.02]); crB = np.array([0.10, 0.05]) # 每平台各版本转化
wA = np.array([0.8, 0.2]); wB = np.array([0.2, 0.8]) # 用户结构
overall = lambda cr, w: (cr*w).sum()
print('整体:A=%.3f B=%.3f → B 看起来更好!' % (overall(crA, wA), overall(crB, wB)))
print('分层:A 每平台 %.3f/%.3f vs B %.3f/%.3f → A 每层都更好' % (crA[0], crA[1], crB[0], crB[1]))
print('✓ 辛普森:结构差异(W 不同)造成倒挂 → 必须分层加权或看每层')
整体:A=0.124 B=0.060 → B 看起来更好! 分层:A 每平台 0.150/0.020 vs B 0.100/0.050 → A 每层都更好 ✓ 辛普森:结构差异(W 不同)造成倒挂 → 必须分层加权或看每层
💾 SQL 提数与数据链路八股¶
- 提数口径三问:事件/表(曝光/点击/下单)、窗口(自然日/订单日)、去重键(uid×日期);
- 核心函数:
GROUP BY / COUNT(DISTINCT) / CASE WHEN / LEFT JOIN / ROW_NUMBER() 去重 / DATE_TRUNC; - 留存 SQL:同期群左连接活跃表 + 按周数计数;漏斗 SQL:多 LEFT JOIN 逐层;
- 数据链路:埋点 → ETL → 数仓分层(ODS/DWD/DWS/ADS)→ BI;指标口径文档化。
🏁 终面 30 分钟冲刺路线¶
0-3min 自我介绍:数据科学背景 + 一个完整案例(问题→设计→结论→影响)
3-10min 统计:样本量推导 + CI/效应量 三件套(背 00/01 的推导)
10-20min 因果:画 DAG → 选估计器 → 报假设(背 02 的总表)
20-30min 场景题:分层归因 → 提出实验 → 护栏 → 汇报口径
python tools/exec_nbs.py 17-数据科学 自检 4 本 notebook 后即可赴考。
# 漏斗拆解:曝光→点击→加购→下单,定位最大流失环节
stage = ['曝光', '点击', '加购', '下单']
users = [100000, 30000, 9000, 3600]
loss = [users[i]-users[i+1] for i in range(len(users)-1)]
plt.figure(figsize=(7.5, 3.4))
plt.barh(stage, users, color='C0')
plt.xlabel('用户数')
for i in range(3):
plt.text(users[i]/2, i, '流失 %d (%.0f%%)' % (loss[i], 100*loss[i]/users[i]),
ha='center', va='center', color='white', fontsize=9)
plt.title('漏斗:曝光→点击 流失最大 → 优先优化首屏/入口')
plt.tight_layout(); plt.show()
print('整体转化率 = %.2f%%(曝光→下单)' % (100*users[-1]/users[0]))
整体转化率 = 3.60%(曝光→下单)
C:\Users\24260\AppData\Local\Temp\ipykernel_44888\845680170.py:12: UserWarning: FigureCanvasAgg is non-interactive, and thus cannot be shown plt.tight_layout(); plt.show()
📐 指标体系设计:OSM / UJM¶
- OSM:目标 Objective → 信号 Signal → 指标 Metric——每提一个指标都过一遍 OSM;
- UJM:用户旅程映射(认知→探索→决策→行动→分享)→ 每阶段设「过程指标」+「结果指标」;
- 指标分级:核心(北极星)、过程、护栏、探索;
- 反例:只设 DAU 不设留存 → 拉新掩盖流失;只设下单不设体验 → 售后崩。
# SQL 留存逻辑模拟(Python 里演示 GROUP BY 口径)
import datetime as dt
rng = np.random.RandomState(0)
users = list(range(100))
reg = {u: dt.date(2024, 1, 1) + dt.timedelta(days=int(rng.randint(0, 7))) for u in users}
active = {u: [reg[u] + dt.timedelta(days=int(d))
for d in np.unique(rng.randint(0, 14, 4))] for u in users}
from collections import Counter
ret = Counter()
for u, regd in reg.items():
for d in active[u]:
ret[(regd, (d-regd).days)] += 1
for (regd, k) in sorted(ret):
if k in (0, 1, 7):
n_reg = sum(1 for u in users if reg[u] == regd)
print('%s 注册 %2d 人 → 第 %d 日留存 %d 人 (%.0f%%)'
% (regd, n_reg, k, ret.get((regd, k), 0), 100*ret.get((regd, k), 0)/n_reg))
print('✓ SQL 口径:同期群(注册日) × 活跃日差 → GROUP BY 两键计数')
print(' 即 SELECT reg_date, DATEDIFF(active,reg), COUNT(DISTINCT uid) ... GROUP BY 1,2')
2024-01-01 注册 16 人 → 第 0 日留存 4 人 (25%) 2024-01-01 注册 16 人 → 第 1 日留存 4 人 (25%) 2024-01-01 注册 16 人 → 第 7 日留存 3 人 (19%) 2024-01-02 注册 16 人 → 第 0 日留存 5 人 (31%) 2024-01-02 注册 16 人 → 第 1 日留存 2 人 (12%) 2024-01-02 注册 16 人 → 第 7 日留存 7 人 (44%) 2024-01-03 注册 10 人 → 第 0 日留存 4 人 (40%) 2024-01-03 注册 10 人 → 第 1 日留存 3 人 (30%) 2024-01-03 注册 10 人 → 第 7 日留存 2 人 (20%) 2024-01-04 注册 19 人 → 第 0 日留存 9 人 (47%) 2024-01-04 注册 19 人 → 第 1 日留存 4 人 (21%) 2024-01-04 注册 19 人 → 第 7 日留存 3 人 (16%) 2024-01-05 注册 18 人 → 第 0 日留存 3 人 (17%) 2024-01-05 注册 18 人 → 第 1 日留存 6 人 (33%) 2024-01-05 注册 18 人 → 第 7 日留存 6 人 (33%) 2024-01-06 注册 9 人 → 第 0 日留存 1 人 (11%) 2024-01-06 注册 9 人 → 第 1 日留存 1 人 (11%) 2024-01-06 注册 9 人 → 第 7 日留存 2 人 (22%) 2024-01-07 注册 12 人 → 第 0 日留存 1 人 (8%) 2024-01-07 注册 12 人 → 第 1 日留存 1 人 (8%) 2024-01-07 注册 12 人 → 第 7 日留存 3 人 (25%) ✓ SQL 口径:同期群(注册日) × 活跃日差 → GROUP BY 两键计数 即 SELECT reg_date, DATEDIFF(active,reg), COUNT(DISTINCT uid) ... GROUP BY 1,2
🎬 数据分析案例 STAR 模板¶
- S:业务问题一句话(「新客转化率连续 3 周下跌」);
- T:分析目标(定位原因并给出验证方案);
- A:方法(分层归因→假设→DID 验证→AB 实验);
- R:结果+影响(定位到渠道策略变化,回归后转化回升 X%;沉淀指标监控看板)。
关键:量化每一步(跌了多少、各因素贡献占比、验证置信度),结尾给「下一步」。
# 现场速算:比例 z 检验(面试手算题随身工具)
def ztest_prop(x1, n1, x2, n2):
p1, p2 = x1/n1, x2/n2
p = (x1+x2)/(n1+n2)
se = np.sqrt(p*(1-p)*(1/n1 + 1/n2))
return (p1-p2)/se, 2*(1-stats.norm.cdf(abs((p1-p2)/se)))
z, p = ztest_prop(1200, 10000, 1150, 10000)
print('转化 12.0%% vs 11.5%% (n=1万): z=%.2f p=%.3f → 显著?%s'
% (z, p, '是' if p < 0.05 else '否'))
z2, p2 = ztest_prop(1200, 5000, 1100, 5000)
print('转化 24.0%% vs 22.0%% (n=5千): z=%.2f p=%.3f → 显著?%s'
% (z2, p2, '是' if p2 < 0.05 else '否'))
print('✓ 口算逻辑:差异/SE;SE≈√(p̄(1-p̄)·2/n)——两种量级都一眼看穿')
转化 12.0% vs 11.5% (n=1万): z=1.10 p=0.272 → 显著?否 转化 24.0% vs 22.0% (n=5千): z=2.38 p=0.017 → 显著?是 ✓ 口算逻辑:差异/SE;SE≈√(p̄(1-p̄)·2/n)——两种量级都一眼看穿
📈 时间序列面试点¶
- 分解:趋势 + 季节 + 残差(乘法/加法);
- 平稳性:ADF 检验 + 差分;ACF/PACF 定阶(AR/MA/ARIMA);
- 预测评估:滚动窗口回测;误差 MAE/RMSE/MAPE(MAPE 忌零值);
- 业务例子:DAU 预测(周季节)、GMV 预测(大促脉冲+衰减);
- 陷阱:用全量历史拟合再回看(数据泄漏)、忽略节假日(加哑变量)。
🏆 终面高频题 20 连(速览自测)¶
- 样本量公式推导 2. 置信区间解读 3. p 值误用 4. AB 时长确定
- SRM 检测 6. 多指标 FDR 7. 辛普森悖论 8. 留存口径
- CLT 边界 10. 分层随机化 11. CUPED 原理 12. 新奇效应
- 混淆 vs 碰撞 14. DID 平行趋势 15. IPW/PSM 16. RDD/IV 适用
- uplift 落地 18. 指标体系 OSM 19. 增长率归因 20. 汇报口径
全部能 30 秒内讲清定义+适用+陷阱 → 数据科学主线通关。
📄 核心公式速查卡(考前最后一页)¶
| 场景 | 公式 |
|---|---|
| 样本量 | $n = \dfrac{2(z_{\alpha/2}+z_\beta)^2\sigma^2}{d^2}$(比例版 $\to \bar p(1-\bar p)$) |
| z 检验 | $z = \dfrac{\hat p_1-\hat p_2}{\sqrt{\bar p(1-\bar p)(1/n_1+1/n_2)}}$ |
| CUPED 缩减 | $SE' = SE\sqrt{1-\rho^2}$ |
| DID | $\hat\tau = (\bar y_{T,后}-\bar y_{T,前})-(\bar y_{C,后}-\bar y_{C,前})$ |
| IPW | $\hat\tau = \sum \frac{T y}{ps}/\sum\frac{T}{ps} - \sum\frac{(1-T)y}{1-ps}/\sum\frac{1-T}{1-ps}$ |
| 卡方 | $\chi^2=\sum\frac{(O-E)^2}{E}$ |
| 效应量 | $d=\dfrac{\bar x_1-\bar x_2}{s_p}$ |
配「30 秒讲适用+假设+陷阱」,公式才算真正属于你。
📊 可视化三原则¶
- 一图一义:每张图回答一个问题(标题写成结论);
- 坐标诚实:y 轴从 0 起或标注截断;双轴必须说明;
- 比例准确:饼图/柱状图防误导;小样本不画密度图;
- 汇报四件套:趋势线、对比、分布、异常标注——一图覆盖一个维度。
# 误导图表演示:截断 y 轴如何夸大差异(一眼看穿)
x = ['方案A', '方案B']; v = [0.98, 1.02]
plt.figure(figsize=(7.5, 3.2))
plt.subplot(1, 2, 1)
plt.bar(x, v); plt.ylim(0, 1.2); plt.title('全轴:差异可忽略', fontsize=9)
plt.subplot(1, 2, 2)
plt.bar(x, v); plt.ylim(0.95, 1.05); plt.title('截断轴:差异被夸大', fontsize=9)
plt.tight_layout(); plt.show()
print('✓ 看图表先看坐标范围:截断轴是常见误导手法')
✓ 看图表先看坐标范围:截断轴是常见误导手法
C:\Users\24260\AppData\Local\Temp\ipykernel_44888\763875250.py:8: UserWarning: FigureCanvasAgg is non-interactive, and thus cannot be shown plt.tight_layout(); plt.show()
📉 图表选型表¶
| 数据 | 图表 |
|---|---|
| 时间趋势 | 折线(多系列对比) |
| 分类对比 | 柱状/条形(按大小排序) |
| 占比 | 堆叠柱/环形图(≤6 类) |
| 分布 | 直方图/箱线图(离群标注) |
| 两变量相关 | 散点(+趋势线) |
| 地域 | 地图/热力 |
原则:先明确想说的结论,再选最能表达它的图。
🎬 数据故事结构:SCQA¶
- S 情境:业务现状(背景)→ C 冲突:指标异常/机会 → Q 问题:为什么?怎么办?
- A 回答:分析路径 + 数据证据 + 结论 + 行动建议;
- 汇报时间分配:情境 10%、冲突 30%、问题 10%、回答 50%;
- 原则:结论先行(电梯陈述)+ 图表佐证 + 一页一结论。
# 窗口函数模拟:GROUP BY 计数 + 全局排名(SQL 面试手撕)
recs = [('A', 3), ('B', 5), ('A', 7), ('B', 2), ('A', 5)]
from collections import Counter
cnt = Counter(r[0] for r in recs)
for k in sorted(cnt): print('%s 计数 = %d(GROUP BY 维度)' % (k, cnt[k]))
order = sorted(recs, key=lambda r: -r[1])
rank = {}
for i, (k, v) in enumerate(order, 1):
rank.setdefault(v, i) # 同值同排名(RANK 语义)
print('全局排名(按值降序):', [(k, v, 'RANK='+str(rank[v])) for k, v in order])
print('✓ SQL 对应: COUNT(*) OVER(PARTITION BY k) 与 RANK() OVER(ORDER BY v DESC)')
A 计数 = 3(GROUP BY 维度)
B 计数 = 2(GROUP BY 维度)
全局排名(按值降序): [('A', 7, 'RANK=1'), ('B', 5, 'RANK=2'), ('A', 5, 'RANK=2'), ('A', 3, 'RANK=4'), ('B', 2, 'RANK=5')]
✓ SQL 对应: COUNT(*) OVER(PARTITION BY k) 与 RANK() OVER(ORDER BY v DESC)
🔗 SQL JOIN 类型(面试图解题)¶
- INNER:两表交集;LEFT/RIGHT:保一侧全量;FULL:并集补空;
- 自连接:同表匹配(如好友关系、父子结构);
- 非等值:
ON a.x < b.y(区间重叠/排名); - 陷阱:一对多 JOIN 会行膨胀(先去重/聚合再连);NULL 匹配不回(用 COALESCE)。
🗄️ 数据质量与链路¶
- 数仓分层:ODS(原始)→ DWD(明细清洗)→ DWS(汇总)→ ADS(应用);
- 质量四查:完整性(缺失/延迟)、准确性(口径/口径文档)、一致性(跨表)、及时性(T+1/实时);
- 链路监控:任务失败告警、产出时效、异常波动(环比/同比阈值);
- 面试:先讲「一条数据怎么从埋点到报表」,再讲「怎么保证可信」——链路感是分水岭。
🤖 数据科学 vs 机器学习面试¶
- DS 面:统计推断、AB、因果、指标体系、SQL、业务敏感度;
- ML 面:模型原理、特征工程、训练技巧、AUC/排序、部署;
- 重合区:特征/评价/数据清洗——两边都考;
- 策略:先按岗位 JD 判断侧重(「增长」「实验」偏 DS,「算法」「推荐」偏 ML)。
# 指标计算器:一组数字出全部常用指标(手算熟练度)
d = {'DAU': 10000, 'MAU': 45000, 'GMV': 600000, '订单': 12000, '新客': 800}
print('ARPU = %.2f 元/DAU' % (d['GMV']/d['DAU']))
print('客单价 = %.2f 元/单' % (d['GMV']/d['订单']))
print('DAU/MAU = %.2f(粘性系数)' % (d['DAU']/d['MAU']))
print('新客占比 = %.1f%%' % (100*d['新客']/d['DAU']))
print('✓ 面试手算题:给了四个数,10 秒内把口径都算出来')
ARPU = 60.00 元/DAU 客单价 = 50.00 元/单 DAU/MAU = 0.22(粘性系数) 新客占比 = 8.0% ✓ 面试手算题:给了四个数,10 秒内把口径都算出来
🔢 费米估算模板(市场规模/容量题)¶
结果 = 人口 × 渗透率 × 使用频次 × 客单价 × 转化路径
- 步骤:拆到可估分量 → 每项给量级(±50% 可接受)→ 灵敏度(哪个分量最不确定);
- 检查:数量级合理(10⁶ 不差 10³)、单位自洽、结论带置信区间;
- 反例:只背一个数,被追问「为什么 5%」就崩。
# 费米估算:某市咖啡年市场规模
pop = 2500e4 # 人口
adult = pop*0.7 # 成年
daily = adult*0.05 # 5% 每天一杯
price = 20
print('日均杯数 ≈ %.0f 万杯 | 年 GMV ≈ %.1f 亿元' % (daily/1e4, daily*365*price/1e8))
print('✓ 演示:每步给依据(0.7 成年、5% 频次),数字可辩护')
日均杯数 ≈ 88 万杯 | 年 GMV ≈ 63.9 亿元 ✓ 演示:每步给依据(0.7 成年、5% 频次),数字可辩护
🛡️ 压力面反套路¶
- 「这个结论我觉得不对」→ 不争辩:重述假设→给证据→说局限→提议验证;
- 「再给一个数/方法」→ 备好第二方案(bootstrap 换解析、DID 换匹配);
- 「如果只有一天时间」→ 按影响力排序(口径→关键分层→快速验证);
- 「你之前的方案失败过吗」→ 讲失败案例+归因+改进(诚实是加分项)。
🎤 终面混合 10 连(数据科学)¶
Q「从埋点到看板说一遍」→ 埋点规范→ETL→数仓分层→指标口径→看板→监控; Q「留存跌了 5 个点先做什么?」→ 口径/数据校验 → 分层归因(版本/渠道/人群)→ 假设 → 验证; Q「SQL 一条语句写留存?」→ 注册表 LEFT JOIN 活跃表 + DATEDIFF + GROUP BY 两键; Q「DAU 和 MAU 哪个先崩?」→ DAU 波动敏感(新客/召回),MAU 反映大盘; Q「老板要看单日暴涨怎么解释?」→ 活动/渠道/口径先排除,再算增量贡献; Q「怎么评价模型上线效果?」→ 线上 A/B 对照指标(转化/留存/收益)+ 护栏; Q「A/B 和因果推断啥关系?」→ AB 是随机化因果实验;观察数据用 DID/PSM/IPW; Q「数据量很小怎么分析?」→ bootstrap/置换/贝叶斯 + 定性判断兜底; Q「怎么推动别的团队配合?」→ 指标对齐 + 明确产出物 + 最小验证先行; Q「未来三年方向?」→ 从取数/报表 → 归因/预测 → 智能决策/实验平台(讲成长路径)。
🗺️ 数据科学学习路线(本仓库配套)¶
00 统计推断(假设检验/CI/ANOVA/非参)
01 AB 实验(设计/样本量/AA/CUPED/序贯/MAB)
02 因果推断(DAG/PSM/IPW/DID/RDD/IV/uplift)
03 业务八股(指标/漏斗/留存/SQL/估算/汇报)
四本顺序刷 + tools/exec_nbs.py 17-数据科学 自检 = 数据科学主线完整。
🏁 数据科学最终冲刺清单¶
背:样本量推导、CI 三件套、检验决策树、DAG 画法、估计器总表、SRM/AA、指标口径。 练:手写 z/卡方/Wilcoxon、CUPED/IPW/2SLS/RDD、SQL 留存、费米估算。 讲:一个完整案例(S/T/A/R 四段式)+ 每章 10 连追问自测。
全部打完 → 数据科学方向可赴任何一面。
# 转化漏斗图:曝光 → 支付 每段漏掉多少
stages = ['曝光', '点击', '加购', '下单', '支付']
vals = np.array([100000, 32000, 8600, 3100, 2600])
y = np.arange(len(stages))
plt.barh(y, vals/vals.max(), height=0.55, color='C0')
plt.yticks(y, stages)
for i, v in enumerate(vals):
plt.text(v/vals.max(), i, ' %d' % v, va='center', fontsize=9)
plt.title('转化漏斗:曝光→支付 整体 %.2f%%(每段都是优化位)' % (100*vals[-1]/vals[0]))
plt.tight_layout(); plt.show()
for i in range(1, len(stages)):
print('%s→%s: %.1f%%' % (stages[i-1], stages[i], 100*vals[i]/vals[i-1]))
print('总转化率 = %.2f%%' % (100*vals[-1]/vals[0]))
曝光→点击: 32.0% 点击→加购: 26.9% 加购→下单: 36.0% 下单→支付: 83.9% 总转化率 = 2.60%
C:\Users\24260\AppData\Local\Temp\ipykernel_44888\2886970234.py:10: UserWarning: FigureCanvasAgg is non-interactive, and thus cannot be shown plt.tight_layout(); plt.show()
# 留存曲线 + 幂律拟合:D1 跌多少、D30 留多少
days = [1, 3, 7, 14, 30]
ret = [0.52, 0.38, 0.30, 0.25, 0.21]
plt.plot(days, ret, 'o-')
x = np.log(days); y = np.log(ret)
k, b = np.polyfit(x, y, 1)
xx = np.linspace(1, 90, 200)
plt.plot(xx, np.exp(b)*xx**k, 'r--', alpha=0.7, label='幂律 %.2f·d^%.2f' % (np.exp(b), k))
plt.legend(fontsize=8); plt.xlabel('天数 d'); plt.ylabel('留存率')
plt.title('留存曲线:D1 狠跌=引流质量差;D30 平台=产品有粘性')
plt.tight_layout(); plt.show()
print('预测 D60 留存 ≈ %.1f%%(幂律外推,报告用)' % (100*np.exp(b)*60**k))
预测 D60 留存 ≈ 17.1%(幂律外推,报告用)
C:\Users\24260\AppData\Local\Temp\ipykernel_44888\701662016.py:11: UserWarning: FigureCanvasAgg is non-interactive, and thus cannot be shown plt.tight_layout(); plt.show()
# Cohort 留存热图:同批新增用户的时间切片(避免“均值陷阱”)
R = np.zeros((6, 6))
for i in range(6):
base = 0.5 - 0.04*i
for k in range(6-i):
R[i, k] = base*0.8**k
plt.imshow(R, cmap='Blues', vmin=0, vmax=0.55, aspect='auto')
plt.colorbar(); plt.xticks(range(6), ['当月', 'M+1', 'M+2', 'M+3', 'M+4', 'M+5'])
plt.yticks(range(6), ['1月', '2月', '3月', '4月', '5月', '6月'])
for i in range(6):
for k in range(6-i):
plt.text(k, i, '%.0f%%' % (100*R[i, k]), ha='center', va='center', fontsize=8)
plt.title('Cohort 留存:逐月新客质量 ↑(新客留存逐行提高=有效增长)')
plt.tight_layout(); plt.show()
C:\Users\24260\AppData\Local\Temp\ipykernel_44888\1891568209.py:14: UserWarning: FigureCanvasAgg is non-interactive, and thus cannot be shown plt.tight_layout(); plt.show()
# 双指标矛盾:DAU ↑ 同时人均时长 ↓ → 增量质量恶化
weeks = np.arange(20)
dau = 100*(1.05)**weeks + 10*np.sin(weeks/3)
dur = 8 - 0.06*weeks + 2*np.sin(weeks/2)/np.sqrt(weeks+1)
fig, ax1 = plt.subplots(figsize=(7.5, 3.4))
ax1.plot(weeks, dau, 'o-', color='C0', label='DAU(万)')
ax1.set_ylabel('DAU (万)')
ax2 = ax1.twinx()
ax2.plot(weeks, dur, 's-', color='C3', label='人均时长(min)')
ax2.set_ylabel('人均时长 (min)')
ax1.legend(loc='upper left', fontsize=8); ax2.legend(loc='lower left', fontsize=8)
plt.title('双指标:DAU 涨、时长跌 = 拉新质量信号(北极星+护栏指标)')
plt.tight_layout(); plt.show()
C:\Users\24260\AppData\Local\Temp\ipykernel_44888\2903928762.py:13: UserWarning: FigureCanvasAgg is non-interactive, and thus cannot be shown plt.tight_layout(); plt.show()
# 辛普森悖论(业务版):分层新渠道都更优,总体反而更差
conv_old = np.array([0.030, 0.018]); conv_new = np.array([0.035, 0.022])
n_old = [80000, 20000]; n_new = [15000, 85000]
for i, s in enumerate(['一线', '二三线']):
print('%s: 旧=%.2f%% 新=%.2f%% → %s 优' % (s, 100*conv_old[i], 100*conv_new[i],
'新' if conv_new[i] > conv_old[i] else '旧'))
o = np.sum(conv_old*np.array(n_old))/np.sum(n_old)
nw = np.sum(conv_new*np.array(n_new))/np.sum(n_new)
print('总体: 旧=%.2f%% 新=%.2f%% → %s 优(悖论!)' % (100*o, 100*nw, '新' if nw > o else '旧'))
x = np.arange(3); w = 0.35
plt.bar(x-w/2, [0.030, 0.018, o], w, label='旧渠道')
plt.bar(x+w/2, [0.035, 0.022, nw], w, label='新渠道')
plt.xticks(x, ['一线', '二三线', '总体']); plt.legend(fontsize=8)
plt.title('业务辛普森:新客集中在低转化人群 → 分层全胜、总体落败')
plt.tight_layout(); plt.show()
C:\Users\24260\AppData\Local\Temp\ipykernel_44888\523149265.py:15: UserWarning: FigureCanvasAgg is non-interactive, and thus cannot be shown plt.tight_layout(); plt.show()
一线: 旧=3.00% 新=3.50% → 新 优 二三线: 旧=1.80% 新=2.20% → 新 优 总体: 旧=2.76% 新=2.40% → 旧 优(悖论!)
# 增长拆解堆叠图:新客 / 回流 / 留存 对 DAU 的贡献
months = np.arange(12)
new = 8 + 0.6*months
back = 3 + 0.2*months
stay = 20 + 0.4*months
plt.stackplot(months, new, back, stay, labels=['新客', '回流', '留存'], alpha=0.8)
plt.legend(loc='upper left', fontsize=8); plt.xlabel('月份'); plt.ylabel('贡献 DAU(万)')
plt.title('增长拆解:留存占比持续上升 = 健康;只靠新客 = 买量依赖')
plt.tight_layout(); plt.show()
print('第 12 月构成:新客 %.0f%% | 回流 %.0f%% | 留存 %.0f%%'
% (100*new[-1]/sum([new[-1], back[-1], stay[-1]]),
100*back[-1]/sum([new[-1], back[-1], stay[-1]]),
100*stay[-1]/sum([new[-1], back[-1], stay[-1]])))
第 12 月构成:新客 33% | 回流 12% | 留存 55%
C:\Users\24260\AppData\Local\Temp\ipykernel_44888\992592598.py:9: UserWarning: FigureCanvasAgg is non-interactive, and thus cannot be shown plt.tight_layout(); plt.show()
# 客单分布:直方图 + 箱线(长尾 → 均值 vs 中位数)
rng = np.random.RandomState(31)
amt = np.concatenate([rng.normal(80, 25, 800), rng.exponential(60, 150)])
plt.figure(figsize=(7.5, 3.4))
plt.subplot(1, 2, 1)
plt.hist(amt, bins=40, density=True, alpha=0.5); plt.title('客单直方图(右尾)', fontsize=9)
plt.subplot(1, 2, 2)
plt.boxplot(amt); plt.title('箱线:均值 > 中位数 = 长尾拉高', fontsize=9)
plt.tight_layout(); plt.show()
print('均值=%.1f | 中位数=%.1f | 决策/汇报优先中位数' % (amt.mean(), np.median(amt)))
均值=75.6 | 中位数=76.6 | 决策/汇报优先中位数
C:\Users\24260\AppData\Local\Temp\ipykernel_44888\3814495693.py:9: UserWarning: FigureCanvasAgg is non-interactive, and thus cannot be shown plt.tight_layout(); plt.show()
# 业务 AB 汇报:点估计 + bootstrap CI(复用 ttest_two / boot_ci)
a = np.random.RandomState(32).normal(3.2, 1, 500)
b = np.random.RandomState(33).normal(3.35, 1, 500)
t, p, d = ttest_two(a, b)
diff = b.mean()-a.mean()
_, lo, hi = boot_ci(a, b, iters=1000, seed=0)
plt.errorbar(1, diff, yerr=[[diff-lo], [hi-diff]], fmt='o', ms=8, capsize=6)
plt.axhline(0, color='k', ls='--')
plt.xlim(0.2, 1.8); plt.xticks([1], ['B − A'])
plt.title('AB 汇报图:点估计 + 95%% CI(不跨 0 才算数)')
plt.tight_layout(); plt.show()
print('diff=%.3f, t=%.2f, p=%.3f, CI=[%.3f, %.3f] → %s'
% (diff, t, p, lo, hi, '显著' if (p < 0.05 and lo > 0) else '不显著'))
diff=0.082, t=-1.29, p=0.198, CI=[-0.042, 0.205] → 不显著
C:\Users\24260\AppData\Local\Temp\ipykernel_44888\791065634.py:11: UserWarning: FigureCanvasAgg is non-interactive, and thus cannot be shown plt.tight_layout(); plt.show()
# 业务预测:趋势 + 季节 + 外推(外推必须标注不确定性)
x = np.arange(24)
y = 100 + 2.5*x + 15*np.sin(2*np.pi*x/12) + np.random.RandomState(34).normal(0, 4, 24)
fit = np.polyfit(x, y, 1)
xf = np.arange(0, 36)
plt.plot(x, y, 'o-', label='历史')
plt.plot(xf, np.polyval(fit, xf), 'r--', alpha=0.8, label='趋势外推')
plt.plot(xf, np.polyval(fit, xf) + 15*np.sin(2*np.pi*xf/12), 'g-', lw=1.5, label='趋势+季节')
plt.axvline(23.5, color='k', ls=':', label='预测起点')
plt.legend(fontsize=8); plt.xlabel('月份'); plt.ylabel('指标')
plt.title('预测 = 趋势 × 季节 × 周期:外推段给区间不给单点')
plt.tight_layout(); plt.show()
C:\Users\24260\AppData\Local\Temp\ipykernel_44888\2305570155.py:12: UserWarning: FigureCanvasAgg is non-interactive, and thus cannot be shown plt.tight_layout(); plt.show()
# 帕累托:头部用户贡献集中度
rng = np.random.RandomState(35)
rev = np.sort(rng.exponential(10, 500))[::-1]
cum = np.cumsum(rev)/rev.sum()
plt.bar(np.arange(500)/500, rev/rev.max()*0.3, width=0.002, alpha=0.4)
plt.plot(np.arange(500)/500, cum, 'r-', lw=2)
plt.axhline(0.8, color='k', ls='--')
plt.xlabel('用户(按营收排序)'); plt.ylabel('累计营收占比')
plt.title('帕累托:前 %.0f%% 用户贡献 80%%(头部经营 vs 长尾经营)'
% (100*np.argmax(cum >= 0.8)/500))
plt.tight_layout(); plt.show()
C:\Users\24260\AppData\Local\Temp\ipykernel_44888\1804969066.py:11: UserWarning: FigureCanvasAgg is non-interactive, and thus cannot be shown plt.tight_layout(); plt.show()
# 时间序列手工分解:趋势(MA) + 季节 + 残差
x = np.arange(48)
y = 100 + 1.2*x + 20*np.sin(2*np.pi*x/12) + np.random.RandomState(36).normal(0, 6, 48)
tr = np.convolve(y, np.ones(12)/12, mode='same')
seas = np.zeros(48)
for m in range(12):
seas[m::12] = np.mean((y-tr)[m::12])
res = y - tr - seas
plt.figure(figsize=(7.5, 4.2))
for k, (d, nm) in enumerate([(y, '原始'), (tr, '趋势(12 月 MA)'), (seas, '季节分量'), (res, '残差')]):
plt.subplot(4, 1, k+1); plt.plot(d, lw=1.2); plt.title(nm, fontsize=8)
plt.tight_layout(); plt.show()
print('残差 std = %.2f(相对原始 %.2f → 分解解释了主要波动)' % (res.std(), y.std()))
残差 std = 16.55(相对原始 20.50 → 分解解释了主要波动)
C:\Users\24260\AppData\Local\Temp\ipykernel_44888\4051545198.py:12: UserWarning: FigureCanvasAgg is non-interactive, and thus cannot be shown plt.tight_layout(); plt.show()
# 指标看板:相对目标 1.0,绿=达成 黄=预警 红=风险
metrics = ['月活', '新增', '留存D7', '时长', 'ARPU', '退款率']
val = np.array([1.2, 0.8, 0.9, 1.1, 0.7, 1.3])
colors = ['C2' if v >= 1 else 'C1' if v >= 0.85 else 'C3' for v in val]
plt.barh(metrics, val, color=colors)
plt.axvline(1.0, color='k', ls='--', label='目标=1.0')
plt.axvline(0.85, color='k', ls=':')
plt.legend(fontsize=8); plt.xlabel('达成率(相对目标)')
plt.title('业务看板:先看红灯(新增/ARPU 掉标 → 追因)')
plt.tight_layout(); plt.show()
print(dict(zip(metrics, ['OK' if v >= 1 else 'WARN' if v >= 0.85 else 'RISK' for v in val])))
{'月活': 'OK', '新增': 'RISK', '留存D7': 'WARN', '时长': 'OK', 'ARPU': 'RISK', '退款率': 'OK'}
C:\Users\24260\AppData\Local\Temp\ipykernel_44888\2376180049.py:10: UserWarning: FigureCanvasAgg is non-interactive, and thus cannot be shown plt.tight_layout(); plt.show()
🧮 业务公式速查¶
$$ \text{留存率}_N = \frac{\text{第 }N\text{ 日仍活跃}}{\text{当日新增}} \qquad \text{ARPU} = \frac{\text{营收}}{\text{活跃用户}} $$
$$ \text{GMV} = \text{客单价} \times \text{单量} \qquad \text{转化漏斗每段} = \frac{\text{进入下一步}}{\text{本步}}\times 100\% $$
$$ \text{DAU} = \text{新客} + \text{回流} + \text{留存} \qquad \text{健康增长} = \text{留存占比 ↑} $$
$$ \text{预测} = \text{趋势} \times \text{季节} \times \text{周期} + \text{误差} $$
报告模板:先漏斗/看板定位 → 再留存/拆解归因 → 最后 AB/预测给结论。
🎤 业务分析追问(8 连)¶
Q「留存算新用户还是全量?」→ 按 cohort 算新增批次,避免老用户稀释; Q「漏斗哪段最该优化?」→ 看流失绝对值与改进杠杆(加购→下单落差常最大); Q「DAU 涨了但营收跌?」→ 拆新客/回流/留存,看每段 ARPU(增长质量); Q「预测总偏差怎么办?」→ 分解趋势/季节后看残差,再补事件/渠道项; Q「头部占比太高怎么办?」→ 帕累托曲线 + 长尾供给策略(库存/推荐); Q「Cohort 热图怎么读?」→ 行=新增质量、列=衰减速度、右下=老用户趋势; Q「指标打架听谁的?」→ 北极星(增长) + 护栏(质量/成本)分层汇报; Q「外推多远可信?」→ 结构变化前都不可信:给区间、标假设、定期校准。
# 数据分析工作流框图:需求 → 数据 → 分析 → 呈现 → 落地
fig, ax = plt.subplots(figsize=(9.5, 3.2))
steps = [('业务问题\n+假设', 0.02, '#ffe9d9'), ('取数+清洗\n口径对齐', 0.22, '#dbe9ff'), ('探索分析\n描述/拆解', 0.42, '#dbe9ff'), ('验证+归因\n检验/因果', 0.62, '#dbe9ff'), ('结论+建议\n(行动项)', 0.82, '#e2efda')]
for lab, x, fc in steps:
ax.add_patch(plt.Rectangle((x, 0.5), 0.16, 0.36, fc=fc, ec='#1f4e79', lw=1.2))
ax.text(x+0.08, 0.68, lab, ha='center', va='center', fontsize=8)
for i in range(4):
x1 = steps[i][1]+0.16; x2 = steps[i+1][1]
ax.annotate('', xy=(x2-0.002, 0.68), xytext=(x1+0.002, 0.68), arrowprops=dict(arrowstyle='->', lw=1.2))
ax.text(0.5, 0.10, '90% 时间在清洗与口径,10% 在“分析”——但价值全在最后两步', ha='center', fontsize=9, color='#555')
ax.set_xlim(0, 1); ax.set_ylim(0, 1); ax.axis('off')
plt.title('分析师工作流:每一个环节都有对应方法与坑', fontsize=11)
plt.tight_layout(); plt.show()
print('✓ 面试串联:这五步就是“讲一个分析项目”的万能框架')
✓ 面试串联:这五步就是“讲一个分析项目”的万能框架
C:\Users\24260\AppData\Local\Temp\ipykernel_44888\644039599.py:13: UserWarning: FigureCanvasAgg is non-interactive, and thus cannot be shown plt.tight_layout(); plt.show()
🧮 业务指标公式(默写版)¶
ARPU / ARPPU:$\text{ARPU}=\dfrac{\text{营收}}{\text{用户数}}$,$\text{ARPPU}=\dfrac{\text{营收}}{\text{付费用户数}}$;$\text{ARPU}=\text{ARPPU}\times\text{付费率}$。
LTV:$\text{LTV}=\dfrac{\text{ARPU}_{月}}{\text{月流失率}}$(几何级数:$\sum_{t} ARPU\cdot(1-c)^{t}$);健康条件 $\text{LTV}>\text{CAC}$。
留存:$\text{次日留存}=\dfrac{\text{D1 回来用户}}{\text{D0 新增}}$;Cohort 视角:$\text{第 }k\text{ 日留存率}$ 随时间衰减曲线。
漏斗:$\text{转化率}_i=\dfrac{N_{i+1}}{N_i}$;总转化 = 各级连乘。
北极星 + 护栏:北极星(增长方向单一指标)配护栏(质量/成本不崩)。
帕累托/幂律:Top 20% 用户贡献 ~80% 营收 → 分层策略(高价值/长尾)。
记忆链:营收=用户×付费率×ARPPU;LTV 与 CAC 比较定投放;留存定产品粘性。
# ARPU 分解数字示例:营收 = 用户 × 付费率 × ARPPU
users, pay_users, revenue = 10000, 300, 450000.0
arpu = revenue/users; arppu = revenue/pay_users; pct = pay_users/users
print('ARPU = %.2f 元 = ARPPU(%.2f) × 付费率(%.1f%%)' % (arpu, arppu, 100*pct))
print('拆到哪层补哪层:提付费率(拉新质量) vs 提 ARPPU(客单价/复购)')
assert abs(arpu - 45.0) < 1e-9 and abs(arpu - arppu*pct) < 1e-9
print('✓ 指标树第一课:增长率 ≠ 单因子变动,要分解归因')
ARPU = 45.00 元 = ARPPU(1500.00) × 付费率(3.0%) 拆到哪层补哪层:提付费率(拉新质量) vs 提 ARPPU(客单价/复购) ✓ 指标树第一课:增长率 ≠ 单因子变动,要分解归因
📜 分析项目方法论(伪代码/提纲)¶
1. 定义问题(北极星/主指标 + 护栏)
2. 画指标树 → 定位异常层(用户/付费率/ARPPU ...)
3. 数据准备:口径定义 → 取数 → 清洗(缺失/离群/重复)
4. 描述+拆解:同比环比/分层 Cohort/帕累托/漏斗
5. 验证归因:显著性检验 → 因果(对照/自然实验/DID)
6. 输出:结论 + 置信区间 + 行动项(谁、做什么、预期效果)
面试必答:项目 = 背景→方法→发现→行动→复盘,缺一环都不完整。
🎤 数据科学面试追问(8 连·第二轮)¶
Q「ARPU 涨了就是好事?」→ 拆开看:付费率跌、ARPPU 涨 → 可能头部挤压长尾; Q「留存怎么定义新老?」→ 按注册时间 Cohort,避免“新客被老客平均稀释”; Q「漏斗哪层最值得优化?」→ 不是转化率最低层,而是“幅度×规模×成本”最大的层; Q「CAC 怎么算?」→ 总营销费用/新增付费用户(含自然量剔除与时间窗); Q「头部集中度高怎么应对?」→ 长尾供给、分层定价、头部风险对冲; Q「指标体系怎么搭建?」→ 北极星 + 流程指标 + 护栏 + 诊断指标四层; Q「预测模型准但没用?」→ 预测要接“决策”:给出干预建议与置信区间才有价值; Q「数据质量差怎么办?」→ 先定口径与 SLA,再修管道,分析结论注明假设与置信度。
✅ 自测(10 题)¶
- ARPU 与 ARPPU 区别?(分母:全部用户 vs 付费用户)
- LTV 公式与健康条件?(ARPU/流失率;LTV>CAC)
- 漏斗总转化怎么算?(各级转化率连乘)
- 次日留存分母?(前一日新增)
- 北极星指标例子?(如:周活跃付费用户)
- 帕累托分析看什么?(Top 20% 贡献占比)
- Cohort 表行/列各是什么?(新增批次 × 存活期)
- 归因与相关区别?(因果方法 vs 相关性)
- 指标异常先看什么?(口径变化/事件/数据质量,再谈业务)
- 结论怎么才算好?(量化+置信度+行动项)
# LTV 数字示例:几何级数求和 → ARPU/流失率
arpu_m = 45.0; churn = 0.10
ltv = arpu_m/churn
# 直接求和验证:前 24 个月现值
s = sum(arpu_m*(1-churn)**k for k in range(24))
print('LTV ≈ %.1f 元(级数求和 24 期 = %.1f,逼近极限)' % (ltv, s))
assert abs(ltv - 450.0) < 1e-9 and s < ltv
print('✓ 记忆:流失率 10% → LTV=10 个月 ARPU;流失 5% → 20 个月(翻倍!)')
LTV ≈ 450.0 元(级数求和 24 期 = 414.1,逼近极限) ✓ 记忆:流失率 10% → LTV=10 个月 ARPU;流失 5% → 20 个月(翻倍!)
# 指标树框图:营收 = 用户数 × 付费率 × ARPPU(逐层下钻定位)
fig, ax = plt.subplots(figsize=(8.5, 3.0))
ax.add_patch(plt.Rectangle((0.40, 0.55), 0.2, 0.3, fc='#ffe9d9', ec='#b45309', lw=1.2))
ax.text(0.5, 0.70, '营收', ha='center', va='center', fontsize=10)
for i, lab in enumerate(['用户数', '付费率', 'ARPPU']):
x = 0.05 + i*0.32
ax.add_patch(plt.Rectangle((x, 0.08), 0.2, 0.26, fc='#dbe9ff', ec='#1f4e79', lw=1.1))
ax.text(x+0.1, 0.21, lab, ha='center', va='center', fontsize=9)
ax.annotate('', xy=(x+0.1, 0.34), xytext=(0.46, 0.53), arrowprops=dict(arrowstyle='->', lw=1.1))
ax.text(0.5, 0.025, '营收 = 用户数 × 付费率 × ARPPU(再往下:新增/留存/客单/频次)', ha='center', fontsize=9, color='#555')
ax.set_xlim(0, 1); ax.set_ylim(0, 1); ax.axis('off')
plt.title('指标树:问题定位 = 沿树逐层对比(同比/环比/分群)', fontsize=11)
plt.tight_layout(); plt.show()
print('✓ 面试手撕:给一张报表,先画指标树再讲归因顺序')
✓ 面试手撕:给一张报表,先画指标树再讲归因顺序
C:\Users\24260\AppData\Local\Temp\ipykernel_44888\490619687.py:13: UserWarning: FigureCanvasAgg is non-interactive, and thus cannot be shown plt.tight_layout(); plt.show()
# 提升曲线示例:按模型分排序 → 累计正例覆盖 vs 随机
rng = np.random.RandomState(8)
n = 5000
y = (rng.rand(n) < 0.2).astype(int)
score = 0.6*y + 0.4*rng.rand(n)
idx = np.argsort(-score)
cum = np.cumsum(y[idx])/max(y.sum(), 1)
kk = int(0.2*n)
print('Top 20%% 覆盖正例 %.0f%% | 随机基线 20%% → lift = %.1fx' % (100*cum[kk], cum[kk]/0.2))
plt.figure(figsize=(7, 3.0))
plt.plot(np.arange(n)/n, cum, lw=1.5, label='模型(按分排序)', color='#1f4e79')
plt.plot([0, 1], [0, 1], '--', lw=1.2, label='随机基线', color='#999')
plt.plot([0.2, 0.2], [0, cum[kk]], ':', color='#b45309', lw=1)
plt.xlabel('Top 比例'); plt.ylabel('累计正例占比')
plt.legend(fontsize=8); plt.title('提升曲线:模型把正例推到最前(= 排序质量)', fontsize=10)
plt.tight_layout(); plt.show()
print('✓ 与 KS/AUC 同源:曲线越高 → 排序越准 → 投放/风控姿势越省')
Top 20% 覆盖正例 100% | 随机基线 20% → lift = 5.0x ✓ 与 KS/AUC 同源:曲线越高 → 排序越准 → 投放/风控姿势越省
C:\Users\24260\AppData\Local\Temp\ipykernel_44888\3783165861.py:16: UserWarning: FigureCanvasAgg is non-interactive, and thus cannot be shown plt.tight_layout(); plt.show()
# 业务健康度仪表:环比/同比一张图看异常
metrics = ['DAU', '付费率', 'ARPPU', '次日留存', '次周留存', '退款率']
qoq = [0.05, -0.02, 0.08, 0.01, 0.00, -0.03]
yoy = [0.12, 0.04, 0.15, 0.06, 0.05, -0.08]
x = np.arange(len(metrics))
plt.figure(figsize=(7.5, 3.0))
plt.bar(x-0.2, qoq, 0.4, label='环比', color='#1f4e79')
plt.bar(x+0.2, yoy, 0.4, label='同比', color='#376027')
plt.axhline(0, color='#333', lw=0.8)
plt.xticks(x, metrics, fontsize=8); plt.ylabel('变化率')
plt.legend(fontsize=8); plt.title('健康度仪表:红绿对比 → 先捞异常(退款率↑?付费率↓?)再归因')
plt.tight_layout(); plt.show()
print('✓ 分析师日课:指标仪表 → 异常定位 → 拆解归因(指标树+因果)→ 行动')
C:\Users\24260\AppData\Local\Temp\ipykernel_44888\108630522.py:12: UserWarning: FigureCanvasAgg is non-interactive, and thus cannot be shown plt.tight_layout(); plt.show()
✓ 分析师日课:指标仪表 → 异常定位 → 拆解归因(指标树+因果)→ 行动
🍵 白话开篇:指标 = 业务的“体温计”¶
公司不知道“最近赚不赚钱”只看收入行不行?不行—— 收入可能靠烧钱买量撑起来,明天就崩。指标 = 把业务状态量化成可追踪的数字。
三个问题决定指标(定义指标前先问):
- 给谁看:老板看北极星(GMV),运营看转化率,风控看退款率;
- 回答什么:增长没?健康吗?哪里漏?——不同问题要不同指标;
- 口径是什么:新客怎么算?GMV 含退款吗?——口径不一致 = 开会吵架源头。
好指标四性(背下来):可比(口径统一)、可操作(能指导动作)、 及时(能周期更新)、抗操纵(刷单不能虚高)。
一句话:指标不是越多越好——先定“决定生死的主指标”,再看“拆分它的过程指标”。
🍵 白话讲透 Cohort:同一批人,跟着他们看¶
问题:本月新增 10000 人,下月又新增 12000 人——“留存 40%”怎么算才准? 把两批人混一起看,新客的“次月留存”会被老客的“N 月留存”污染。
Cohort(同期群)分析:按首次使用月份把人分组,每批单独跟踪:
第0月 第1月 第2月 第3月
1月新客 1000 400 300 250
2月新客 1200 500 380 -
3月新客 900 380 - -
横着看:某批人的留存曲线(用户粘性);竖着看:同月份不同批(拉新质量变化)。
热力图格式(本书代码示例):行=批次,列=月份,颜色=留存率—— 一眼看出“哪批用户留不住”(可能渠道质量差)。
一句话:Cohort = “把不同时间进来的人分开记账”——避免新老混杂,看清每批的真实留存。
🍵 白话讲透漏斗:用户在哪一步“跑光”了?¶
漏斗 = 关键路径上的步骤转化率: 曝光 → 点击 → 加购 → 支付。每步一缩水,形似漏斗。
怎么读漏斗(三步法):
- 找最大缩水的一步(曝光→点击掉 70%?那是流量不精准/首屏差);
- 算步间转化率(点击→加购 = 商品页体验;加购→支付 = 支付流程/价格);
- 归因:最大缩水处优先优化(改一步 = 全漏斗受益)。
常见坑:
- 漏斗步骤太多 → 每步都要埋点,错一步全错;
- 用户路径非单一(搜索/推荐/广告三条路)→ 按渠道分漏斗;
- 只看整体不看分群(新客漏斗与老客完全不同)。
一句话:漏斗 = 定位“哪里漏最多”——优化的优先级排序器。
🔍 公式拆解 ①:ARPU / ARPPU / 付费率¶
$$\text{ARPU}=\frac{\text{总收入}}{\text{活跃用户数}},\qquad \text{ARPPU}=\frac{\text{总收入}}{\text{付费用户数}},\qquad \text{付费率}=\frac{\text{付费用户数}}{\text{活跃用户数}}$$
逐符号解释:
- ARPU(每活跃用户收入):全体用户平均——反映“整体赚钱效率”;
- ARPPU(每付费用户收入):只算付费的人——反映“付费用户的价值”;
- 付费率:付费用户占比——反映“变现覆盖面”;
- 三角关系(面试快问):ARPU = ARPPU × 付费率(本书 r9 已验证:45 = 120×0.375)。
怎么用(涨 ARPU 的两条路):
- 提高 ARPPU(涨价/多买/升级);提高付费率(降价/首单/激励)—— 两条路方向经常冲突,要同时看三个数才不误判。
注意:ARPU 涨也可能是“分母变小”(流失多)—— 永远配着活跃用户数一起看,否则会误报“增长”。
🔍 公式拆解 ②:留存率与衰减¶
$$R_k=\frac{\text{第 k 月仍活跃的第 0 月新客}}{\text{第 0 月新客}},\qquad R_k\approx R_1\cdot r^{k-1}$$
逐符号解释:
- $R_k$:新客第 k 个月的留存率(k=1 是次月留存,最常被报告);
- 分子分母都限定同一批 Cohort(见 Cohort 章节)——不限定就是假留存;
- 衰减模型:$r$ = 每月保留比例(0.6~0.9)——留存曲线 ≈ 指数衰减(幂律/重尾更真实);
- 次月留存是最敏感的早期信号:低于 30% 说明“来了就走”,拉新是烧钱。
直觉(为什么要看曲线不看单点):
- 单点(次月 40%)无法判断趋势——曲线平坦(粘性强)还是持续下滑(一锤子买卖);
- 指数衰减的对数图应为直线:斜率 = 用户粘性(斜率缓 = 产品上瘾)。
LTV 的关键输入:$\text{LTV}=\text{ARPPU}\times\frac{r}{1-r}$(月留存 r 下的总价值)—— 留存决定 LTV 的大头(r 从 0.5→0.8,LTV 翻 4 倍)。
🔍 公式拆解 ③:LTV 与 CAC——增长的经济账¶
$$\text{LTV}=\text{ARPPU}\times\underbrace{\frac{r}{1-r}}_{\text{平均留存月数}},\qquad \text{CAC}=\frac{\text{获客总花费}}{\text{新客数}},\qquad \text{LTV/CAC}>3\ \text{是健康线}$$
逐符号解释:
- LTV(用户生命周期价值):一个用户一辈子贡献的钱;
- $r/(1-r)$:几何级数的和——月留存 r 时平均活跃 $1+r+r^2+\dots = 1/(1-r)$ 月(扣首月即 r/(1−r));
- CAC(获客成本):买一个用户花多少钱(投放+红包+渠道分成);
- 比值:赚回获客成本的倍数——LTV/CAC<1 是纯烧钱;1~3 观望;>3 加大投放。
直觉(为什么 3:1):CAC 是前置现金、LTV 是慢慢收回—— 要覆盖资金时间成本+流失不确定性+风险,行业经验取 3 倍安全垫。
数字验证(r9 例):ARPPU=30/月,r=0.9 → LTV=30×0.9/0.1=270; 若 CAC=90 → LTV/CAC=3 恰好健康线。
一句话:LTV 决定“能烧多少钱获客”,CAC 决定“烧得值不值”。
# Cohort 热力图:行=月份批次,列=第 N 月,颜色=留存率
rng = np.random.RandomState(1)
n_batch = 6
base = np.array([1.00, 0.42, 0.31, 0.25, 0.21, 0.18]) # 理想留存曲线
mat = np.zeros((n_batch, n_batch))
for b in range(n_batch):
noise = 1 + 0.06*rng.randn(n_batch - b)
mat[b, :n_batch-b] = base[:n_batch-b]*noise
mat[3, 0] = 1.0; mat[3, 1] = 0.24 # 第 4 批明显偏弱(渠道差)→ 一眼看出
plt.figure(figsize=(7.5, 3.4))
plt.imshow(mat, aspect='auto', cmap='YlGnBu', vmin=0, vmax=1)
for b in range(n_batch):
for m in range(n_batch - b):
plt.text(m, b, '%.2f' % mat[b, m], ha='center', va='center', fontsize=8)
plt.xticks(range(n_batch), ['当月', '+1月', '+2月', '+3月', '+4月', '+5月'])
plt.yticks(range(n_batch), ['1月', '2月', '3月', '4月', '5月', '6月'])
plt.xlabel('注册后月份'); plt.ylabel('注册批次')
plt.colorbar(label='留存率')
plt.title('Cohort 热力图:横看留存曲线,竖看批次质量', fontsize=10)
plt.tight_layout(); plt.show()
print('✓ 第 4 批次整体偏低 → 指向“该月渠道/活动质量问题” → 归因起点')
✓ 第 4 批次整体偏低 → 指向“该月渠道/活动质量问题” → 归因起点
C:\Users\24260\AppData\Local\Temp\ipykernel_44888\1987676999.py:20: UserWarning: FigureCanvasAgg is non-interactive, and thus cannot be shown plt.tight_layout(); plt.show()
# 帕累托曲线:头部 20% 用户贡献多少收入?
rng = np.random.RandomState(5)
n_u = 2000
spend = np.sort(rng.exponential(50, n_u))[::-1] # 消费右偏(现实常态)
cum = np.cumsum(spend)/spend.sum()
share_top20 = cum[int(0.2*n_u)]
print('前 20%% 用户贡献收入占比 = %.1f%%(长尾产品也常 50-80%%)' % (100*share_top20))
plt.figure(figsize=(7, 2.8))
plt.plot(np.linspace(0, 100, n_u), cum*100, lw=1.8, color='#1f4e79')
plt.axhline(share_top20*100, color='#b45309', ls='--', lw=1)
plt.axvline(20, color='#b45309', ls='--', lw=1)
plt.xlabel('用户累计占比 (%)'); plt.ylabel('收入累计占比 (%)')
plt.title('帕累托曲线:识别“少数人撑起大半个盘”', fontsize=10)
plt.tight_layout(); plt.show()
assert 0.4 < share_top20 < 0.9
print('✓ 含义:头部用户维护要单独做(VIP 策略);优化头部留存 = 直击收入大头')
前 20% 用户贡献收入占比 = 51.3%(长尾产品也常 50-80%) ✓ 含义:头部用户维护要单独做(VIP 策略);优化头部留存 = 直击收入大头
C:\Users\24260\AppData\Local\Temp\ipykernel_44888\170781911.py:14: UserWarning: FigureCanvasAgg is non-interactive, and thus cannot be shown plt.tight_layout(); plt.show()
# 漏斗图:曝光→点击→加购→支付,标出最大缩水步
steps = ['曝光', '点击', '加购', '支付']
vals = np.array([100000, 45000, 12000, 9000])
rates = vals[1:]/vals[:-1]
k_bad = np.argmin(rates)
plt.figure(figsize=(7, 3.2))
for i, (s, v) in enumerate(zip(steps, vals)):
w = v/vals[0]
col = '#b45309' if i == k_bad+1 else '#1f4e79'
plt.barh(i, w, color=col, alpha=0.85)
plt.text(w+0.01, i, '%d (%.1f%%)' % (v, 100*v/vals[0]), va='center', fontsize=9)
if i < 3:
plt.text(0.5, i+0.5, '转化率 %.1f%%' % (100*rates[i]), ha='center',
fontsize=8, color='#555')
plt.yticks(range(len(steps)), steps)
plt.xlim(0, 1.25); plt.xlabel('相对规模')
plt.title('漏斗:点击→加购缩水最大(仅 26.7%%)→ 优化商品页/价格感知优先', fontsize=9)
plt.gca().invert_yaxis()
plt.tight_layout(); plt.show()
assert k_bad == 1
print('✓ 定位:点击→加购(45%%→26.7%%)最陡 → 下一步分析加购页流失原因(价格/库存/评价)')
✓ 定位:点击→加购(45%%→26.7%%)最陡 → 下一步分析加购页流失原因(价格/库存/评价)
C:\Users\24260\AppData\Local\Temp\ipykernel_44888\1406132339.py:19: UserWarning: FigureCanvasAgg is non-interactive, and thus cannot be shown plt.tight_layout(); plt.show()
⚠️ 本章高频踩坑(分析师日常红线)¶
- 口径漂移:去年 GMV 含退款、今年不含 → 同比全是假象——口径变更要留档;
- 分母陷阱:转化率分母用“曝光”还是“点击”?先定义再说话;
- ARPU 误报增长:收入不变、用户流失 → ARPU 涨 = 病态的“增长”;
- 留存造假:把多批用户混算留存、或用“活跃/总注册”冒充留存;
- 季节/星期因素:对比必须同比或环比对齐周期(双十一 vs 平日没法比);
- 幸存者偏差:只看付费用户/留用用户分析“为什么成功”——漏掉流失的教训;
- 指标打架:一个优化涨了 A 崩了 B(转化率↑ 客单价↓)→ 主指标要先定;
- 没有假设就挖数:数据挖出来的“发现”多为噪音——先提假设再验证(p 值红线同 DS00)。
🧭 指标体系方法论:OSM 与 AARRR¶
OSM(目标-策略-度量)——自顶向下搭体系:
- Objective:业务目标(提高新客 90 日复购);
- Strategy:策略(首单优惠/会员提醒/商品推荐);
- Metric:度量(复购率、优惠券核销率、推荐曝光转化率)。 每个策略配 1~2 个指标,避免“指标海洋”。
AARRR(海盗指标)——按用户生命周期分:
- Acquisition 获取(新增/下载);Activation 激活(首次关键行为);
- Retention 留存(次月留存);Revenue 收入(ARPU/ARPPU);
- Referral 传播(K 因子/分享率)。
组合用法:
- 做增长 → AARRR 找瓶颈环节(哪一步最弱);
- 定体系 → OSM 让每个指标有“为什么存在”;
- 日常 → 北极星 + 3~5 个护栏 + 过程指标树(r9 示例)。
一句话:方法论不是模板,是“每个指标都要能回答:它服务于哪个目标、对应哪个策略”。
🏁 本章学完清单¶
- 能讲清指标四性与定义指标的三问;
- 能解释 Cohort 为什么比混算留存准;
- 能写 ARPU=ARPPU×付费率并解释三角关系;
- 能解释 r/(1−r) 为什么是平均留存月数;
- 能解释 LTV/CAC>3 的经济直觉;
- 能做:Cohort 热力图、帕累托、漏斗定位(本书示例);
- 能列出 5 个口径/分母/留存红线;
- 能用 OSM+AARRR 现场搭一套指标体系。
数据科学 4 本学完 ✅——现在你既有统计/因果方法论,又有业务指标体系。继续去其他目录(CV/LLM/强化学习)深造!