📊 17-数据科学:统计推断 / AB 实验 / 因果推断¶
数据科学岗位 = 用统计视角把业务问题翻译成可检验的假设,再用实验/因果方法给出可靠结论: 统计推断与假设检验(描述统计 → 抽样分布与 CLT → 检验 → 功效与样本量 → 多重比较)+ AB 实验设计与评估(样本量、分流、AA/SRM、显著性/功效、CUPED、GAUC)+ 因果推断(潜在结果、PSM/IPTW/DID、RDD/IV、uplift、反事实)。
面向秋招画像:数据科学 / 数据挖掘 / 推荐搜索(实验评估侧)/ 增长 / AI 应用(建模 + 实验评估) 岗位。 与 00-数学基础(概率论与统计)、02-机器学习(AUC 评估、特征重要性)、11-时间序列(序列评估与交叉验证)、05-八股与工程(数据/工程基础)直接衔接。
🖼️ 配图与深化:教学 notebook 含手写实现 + 数值对照(numpy/scipy/pandas,自包含可执行); 模块目录随产出持续扩充(见下表"状态"列)。
知识地图(面试考察的四大块)¶
数据科学考点
├── 1. 统计推断与检验 描述统计 · 抽样分布与 CLT · 点/区间估计 · t/z/卡方/F 检验 · 功效与样本量 · 多重比较(Bonferroni/BH-FDR)
├── 2. AB 实验 实验设计 · 样本量公式 · 分流/层化/互斥 · AA 与 SRM · 显著性/功效 · 连续监控 · CUPED/方差缩减 · GAUC · 辛普森悖论
├── 3. 因果推断 相关≠因果 · 潜在结果与 ATE/ATT · 混淆与 DAG · PSM/IPTW · DID · RDD · IV · uplift(S/T-Learner)· 反事实
└── 4. 业务与工程 北极星指标 · 漏斗/留存/同期群 · AUC/GAUC · 指标口径 · 埋点 · 长周期实验 · 实验平台
学习路线(推荐顺序)¶
- 打底(00):统计推断与假设检验——t/z/卡方/F 检验手写 vs scipy 对照、功效与样本量、多重比较(Bonferroni/BH-FDR)✅
- AB 实验(01):样本量公式推导 → 分流模拟 → AA 检验与 SRM → CUPED 手写 → GAUC ✅
- 因果推断(02):潜在结果框架 → PSM/IPTW/DID 手写 → RDD/IV 直觉 → uplift(S/T-Learner)✅
- 冲刺(03):数据科学面试八股与高频题——70 连问速答 + 手撕(t 检验/样本量/DID/PSM/CUPED/FDR)✅
教学 Notebook 索引¶
| 笔记 | 核心手写/演示 | 状态 |
|---|---|---|
| 00-统计推断与假设检验 | t/z/卡方/F 检验手写 vs scipy、功效与样本量、多重比较(Bonferroni/BH-FDR) | ✅ |
| 01-AB实验设计与评估 | 样本量公式推导、分流模拟、AA 检验与 SRM、CUPED 手写、GAUC | ✅ |
| 02-因果推断入门 | 潜在结果框架、PSM/IPTW/DID 手写、RDD/IV 直觉、uplift(S/T-Learner) | ✅ |
| 03-数据科学面试八股与高频题 | 70 连问速答 + 手撕(t 检验/样本量/DID/PSM/CUPED/FDR) | ✅ |
与其他章节衔接¶
| 本模块主题 | 前置章节 | 衔接说明 |
|---|---|---|
| 假设检验 / 区间估计 | 00-数学基础 02-概率论与统计 | 那边打概率分布与统计量基础,本模块补检验、功效与多重比较 |
| AUC / 排序评估 | 02-机器学习 13-特征工程与模型评估 | GAUC 是 AUC 按用户/场景分组加权的一般化 |
| 因果 vs 相关 | 02-机器学习 07-决策树与随机森林 · 06-GBDT | 特征重要性是相关性视角,uplift 才是因果效应;S/T-Learner 常以 GBDT 为基学习器 |
| 时间序列交叉验证 / 长期评估 | 11-时间序列 06-评估与异常检测 | 长周期实验的留存观测与序列数据评估不能随机切分 |
| 指标口径 / 埋点 / 工程实现 | 13-编程语言 · 05-八股与工程 | 数据生产的工程基础(pandas/SQL/数据质量) |
面试高频题型(详见 高频面试题.md)¶
- 统计推断类:CLT 与标准误、置信区间与 p 值的经典误解、检验方法选型(t/z/卡方/ANOVA)、功效与样本量、多重比较修正
- AB 实验类:样本量手算、AA/SRM、连续监控与 peeking、CUPED 原理与方差缩减、GAUC、辛普森悖论
- 因果推断类:相关 vs 因果、潜在结果与 ATE/ATT、PSM/IPTW/DID 手撕、RDD/IV 直觉、uplift 建模、反事实
- 业务指标类:北极星指标拆解、漏斗/留存/同期群、指标口径、埋点质量、长周期实验与实验平台治理
验收标准¶
- [ ] 能口述统计推断全流程:总体 → 抽样 → 统计量 → CLT → 假设检验 → p 值 → 结论,并讲清 p 值 / 置信区间 / 功效的三大经典误区
- [ ] 能推导双样本 t 统计量与两样本比较的样本量公式,说清 n 与 α、β、MDE、σ 的关系
- [ ] 能完整设计一个 AB 实验:指标 → 样本量 → 分流 → AA/SRM 校验 → 显著性分析 → CUPED 降方差 → 结论与上线决策
- [ ] 能识别并解释 SRM、连续监控(peeking)、辛普森悖论、p-hacking、幸存者偏差等实验与分析陷阱
- [ ] 能手写 PSM(倾向得分 + 最近邻匹配 + 平衡性检验)与 DID(倍分法估计量),并用模拟数据验证
- [ ] 能讲清潜在结果框架、ATE/ATT、SUTVA、混淆/后门,并区分因果任务与预测任务(uplift vs 分类)
- [ ] 高频面试题清单 70+ 题:每题不看资料能写出公式、讲出流程与应用场景
- [ ] 手撕清单 5 题(t 检验 / 样本量 / DID / PSM / CUPED)可现场完成并给出正确结论