跳转至

📊 17-数据科学:统计推断 / AB 实验 / 因果推断

数据科学岗位 = 用统计视角把业务问题翻译成可检验的假设,再用实验/因果方法给出可靠结论: 统计推断与假设检验(描述统计 → 抽样分布与 CLT → 检验 → 功效与样本量 → 多重比较)+ AB 实验设计与评估(样本量、分流、AA/SRM、显著性/功效、CUPED、GAUC)+ 因果推断(潜在结果、PSM/IPTW/DID、RDD/IV、uplift、反事实)。

面向秋招画像:数据科学 / 数据挖掘 / 推荐搜索(实验评估侧)/ 增长 / AI 应用(建模 + 实验评估) 岗位。 与 00-数学基础(概率论与统计)、02-机器学习(AUC 评估、特征重要性)、11-时间序列(序列评估与交叉验证)、05-八股与工程(数据/工程基础)直接衔接。

🖼️ 配图与深化:教学 notebook 含手写实现 + 数值对照(numpy/scipy/pandas,自包含可执行); 模块目录随产出持续扩充(见下表"状态"列)。

知识地图(面试考察的四大块)

数据科学考点
├── 1. 统计推断与检验   描述统计 · 抽样分布与 CLT · 点/区间估计 · t/z/卡方/F 检验 · 功效与样本量 · 多重比较(Bonferroni/BH-FDR)
├── 2. AB 实验           实验设计 · 样本量公式 · 分流/层化/互斥 · AA 与 SRM · 显著性/功效 · 连续监控 · CUPED/方差缩减 · GAUC · 辛普森悖论
├── 3. 因果推断          相关≠因果 · 潜在结果与 ATE/ATT · 混淆与 DAG · PSM/IPTW · DID · RDD · IV · uplift(S/T-Learner)· 反事实
└── 4. 业务与工程        北极星指标 · 漏斗/留存/同期群 · AUC/GAUC · 指标口径 · 埋点 · 长周期实验 · 实验平台

学习路线(推荐顺序)

  1. 打底(00):统计推断与假设检验——t/z/卡方/F 检验手写 vs scipy 对照、功效与样本量、多重比较(Bonferroni/BH-FDR)✅
  2. AB 实验(01):样本量公式推导 → 分流模拟 → AA 检验与 SRM → CUPED 手写 → GAUC ✅
  3. 因果推断(02):潜在结果框架 → PSM/IPTW/DID 手写 → RDD/IV 直觉 → uplift(S/T-Learner)✅
  4. 冲刺(03):数据科学面试八股与高频题——70 连问速答 + 手撕(t 检验/样本量/DID/PSM/CUPED/FDR)✅

教学 Notebook 索引

笔记 核心手写/演示 状态
00-统计推断与假设检验 t/z/卡方/F 检验手写 vs scipy、功效与样本量、多重比较(Bonferroni/BH-FDR) ✅
01-AB实验设计与评估 样本量公式推导、分流模拟、AA 检验与 SRM、CUPED 手写、GAUC ✅
02-因果推断入门 潜在结果框架、PSM/IPTW/DID 手写、RDD/IV 直觉、uplift(S/T-Learner) ✅
03-数据科学面试八股与高频题 70 连问速答 + 手撕(t 检验/样本量/DID/PSM/CUPED/FDR) ✅

与其他章节衔接

本模块主题 前置章节 衔接说明
假设检验 / 区间估计 00-数学基础 02-概率论与统计 那边打概率分布与统计量基础,本模块补检验、功效与多重比较
AUC / 排序评估 02-机器学习 13-特征工程与模型评估 GAUC 是 AUC 按用户/场景分组加权的一般化
因果 vs 相关 02-机器学习 07-决策树与随机森林 · 06-GBDT 特征重要性是相关性视角,uplift 才是因果效应;S/T-Learner 常以 GBDT 为基学习器
时间序列交叉验证 / 长期评估 11-时间序列 06-评估与异常检测 长周期实验的留存观测与序列数据评估不能随机切分
指标口径 / 埋点 / 工程实现 13-编程语言 · 05-八股与工程 数据生产的工程基础(pandas/SQL/数据质量)

面试高频题型(详见 高频面试题.md)

  • 统计推断类:CLT 与标准误、置信区间与 p 值的经典误解、检验方法选型(t/z/卡方/ANOVA)、功效与样本量、多重比较修正
  • AB 实验类:样本量手算、AA/SRM、连续监控与 peeking、CUPED 原理与方差缩减、GAUC、辛普森悖论
  • 因果推断类:相关 vs 因果、潜在结果与 ATE/ATT、PSM/IPTW/DID 手撕、RDD/IV 直觉、uplift 建模、反事实
  • 业务指标类:北极星指标拆解、漏斗/留存/同期群、指标口径、埋点质量、长周期实验与实验平台治理

验收标准

  • [ ] 能口述统计推断全流程:总体 → 抽样 → 统计量 → CLT → 假设检验 → p 值 → 结论,并讲清 p 值 / 置信区间 / 功效的三大经典误区
  • [ ] 能推导双样本 t 统计量与两样本比较的样本量公式,说清 n 与 α、β、MDE、σ 的关系
  • [ ] 能完整设计一个 AB 实验:指标 → 样本量 → 分流 → AA/SRM 校验 → 显著性分析 → CUPED 降方差 → 结论与上线决策
  • [ ] 能识别并解释 SRM、连续监控(peeking)、辛普森悖论、p-hacking、幸存者偏差等实验与分析陷阱
  • [ ] 能手写 PSM(倾向得分 + 最近邻匹配 + 平衡性检验)与 DID(倍分法估计量),并用模拟数据验证
  • [ ] 能讲清潜在结果框架、ATE/ATT、SUTVA、混淆/后门,并区分因果任务与预测任务(uplift vs 分类)
  • [ ] 高频面试题清单 70+ 题:每题不看资料能写出公式、讲出流程与应用场景
  • [ ] 手撕清单 5 题(t 检验 / 样本量 / DID / PSM / CUPED)可现场完成并给出正确结论

教程来源:Akun-python/autumn-recruitment。 MIT 许可证全文。