📐 23-统计学:从入门到精通¶
统计学岗位 = 把不确定性问题翻译成可量化的推断:描述数据 → 建立分布模型 → 估计参数 → 检验假设 → 回归关联 → 贝叶斯更新 → 综合建模。本模块从「描述统计」起步, 一路走到「统计学习与建模实战」,共 12 篇 notebook,全部手写实现 + 数值对照, 覆盖秋招统计学岗 / 数据科学岗 / 算法岗的统计考点。
与 00-数学基础(概率论与统计)、17-数据科学(统计推断/AB 实验/因果推断)、 18-数据分析(业务指标/分析方法)互补:本模块把统计学本身按由浅入深的完整体系讲透。
🖼️ 配图与深化:教学 notebook 全部基于 numpy/pandas/scipy/matplotlib/statsmodels/sklearn,自包含可执行, 含断言与数值对照(手写 vs 库实现);绘图统一中文字体并显式
plt.show()。📖 论文配图(
figures/,全部开放获取、每幅注明出处):12 篇每篇至少 1 张真实期刊论文插图, 共 15 张,均配中文"怎么读这张图"图注——Anscombe 四重奏 / ANOVA 雨云图(Ott et al. 2025, Behavior Research Methods)、分布可视化(Thrun et al. 2020, PLOS ONE)、SOCR CLT 模拟器(Dinov et al. 2008, J Stat Educ)、估计量相对效率(Zaagan et al. 2024, Heliyon)、p 值三大误区与 p 值直方图 (Kim & Bang 2016, Dental Hypotheses)、χ² 密度对照(Lin & Bentler 2012, Multivar Behav Res)、 相关与回归 / 残差诊断(Bewick et al. 2003, Critical Care)、贝叶斯先验→后验可视化(Alter et al. 2025, Int J Psychol)、偏差-方差与双下降(Belkin et al. 2019, PNAS)、ROC 曲线(Gönen 2013, Acad Radiol)。
知识地图(入门的六层 → 精通的四层)¶
统计学知识地图
├── 入门层
│ ├── 1. 描述统计 均值/中位数/众数 · 方差/标准差 · 分位数/IQR · 偏度/峰度 · 箱线图/直方图
│ ├── 2. 概率分布 离散(伯努利/二项/泊松) · 连续(均匀/正态/指数/t/卡方/F) · 期望/方差/矩
│ ├── 3. 抽样与CLT 抽样分布 · 标准误 · 中心极限定理 · 大数定律 · 正态逼近的条件
│ ├── 4. 参数估计 点估计/无偏性/有效性/一致性 · MLE · 矩估计 · 置信区间
│ ├── 5. 假设检验 检验框架 · p 值 · 两类错误 · z/t 检验 · 功效与样本量
│ └── 6. 进阶检验 卡方(拟合优度/独立性) · ANOVA · 非参数(符号/秩和/KS) · 多重比较
├── 精通层
│ ├── 7. 相关与回归 皮尔逊/斯皮尔曼 · 一元/多元 OLS · 正规方程 · R²/调整R² · 残差诊断
│ ├── 8. 贝叶斯统计 先验/似然/后验 · 共轭先验 · 贝叶斯因子 · 朴素贝叶斯 · MCMC 直觉
│ ├── 9. ANOVA与实验 单因素/双因素/重复测量 · 交互作用 · 多重比较校正 · 效应量
│ └── 10. 统计学习 偏差-方差权衡 · 交叉验证 · 正则化(L1/L2) · 分类评估(混淆矩阵/AUC)
学习路线(推荐顺序)¶
- 入门打底(00-02):描述性统计 → 概率分布 → 抽样分布与 CLT(手写 vs numpy/scipy 对照)✅
- 推断核心(03-05):参数估计与 MLE → 假设检验入门 → 假设检验进阶(卡方/ANOVA/非参数)✅
- 建模进阶(06-08):相关与回归 → 贝叶斯统计 → ANOVA 与实验设计 ✅
- 精通实战(09-11):统计学习基础 → 综合实战案例(全流程)→ 面试八股与手撕 ✅
教学 Notebook 索引(12 篇,全部通过 nbclient 执行验证)¶
| 笔记 | 核心手写/演示 | 状态 |
|---|---|---|
| 00-描述性统计与数据可视化 | 均值/中位数/方差/分位数手写 vs numpy、分布形状、箱线图/直方图 | ✅ |
| 01-概率论基础与常见分布 | 离散/连续分布手写 PMF/PDF、期望方差、正态 vs t vs 卡方 vs F | ✅ |
| 02-抽样分布与中心极限定理 | CLT 模拟验证、标准误、大数定律、正态逼近条件 | ✅ |
| 03-参数估计与极大似然 | 点估计三大性质、MLE 手写、矩估计、置信区间 | ✅ |
| 04-假设检验入门 | 检验框架、z/t 检验手写 vs scipy、两类错误、p 值 | ✅ |
| 05-假设检验进阶 | 卡方拟合优度/独立性、非参数检验、ANOVA、多重比较 | ✅ |
| 06-相关与回归分析 | 皮尔逊/斯皮尔曼手写 vs scipy、OLS 正规方程、R²、残差诊断 | ✅ |
| 07-贝叶斯统计入门 | 贝叶斯公式、共轭先验、后验更新、贝叶斯因子、朴素贝叶斯 | ✅ |
| 08-方差分析ANOVA与实验设计 | 单因素/双因素 ANOVA、交互作用、效应量、多重比较校正 | ✅ |
| 09-统计学习基础 | 偏差-方差分解、交叉验证、L1/L2 正则化、分类评估 | ✅ |
| 10-统计建模综合实战 | 真实数据全流程:EDA → 建模 → 检验 → 报告 | ✅ |
| 11-统计学面试八股与高频题 | 80 连问速答 + 手撕(MLE/检验/回归/贝叶斯/ANOVA) | ✅ |
与其他章节衔接¶
| 本模块主题 | 前置章节 | 衔接说明 |
|---|---|---|
| 概率论与分布基础 | 00-数学基础 02-概率论与统计 | 那边打概率公理与随机变量基础,本模块补统计推断全流程 |
| 统计推断 / 假设检验 | 17-数据科学 00-统计推断 | 本模块更系统地从入门讲到精通,17 侧重业务落地 |
| 回归 / 机器学习基础 | 02-机器学习 | 本模块从统计视角讲 OLS 与推断,建模调参交给 ML 模块 |
| 业务指标 / 数据分析 | 18-数据分析 | 描述统计与业务指标的口径落地 |
| 时序数据统计 | 11-时间序列 | 平稳性检验/相关性在时序中的延伸 |
面试高频题型(详见 高频面试题.md)¶
- 描述统计类:均值/中位数/众数对比、方差 vs 标准差、IQR 离群值、偏度/峰度含义
- 概率分布类:二项 vs 泊松、正态分布 3σ、t 分布 vs 正态、卡方/F 分布用途
- 推断类:CLT、标准误 vs 标准差、MLE、无偏性、置信区间理解、p 值经典误解
- 检验类:z vs t 选择、两类错误、功效与样本量、卡方适用条件
- 回归类:皮尔逊 vs 斯皮尔曼、OLS 假设、R²、多重共线性、回归≠因果
- 贝叶斯类:先验/后验、共轭、贝叶斯 vs 频率派
- 进阶类:ANOVA 前提、多重比较修正、偏差方差、交叉验证
验收标准¶
- [ ] 能手写均值/中位数/方差/分位数并与 numpy/scipy 对照
- [ ] 能默写常见分布 PMF/PDF 并画出形状
- [ ] 能用模拟验证 CLT,讲清标准误与样本量关系
- [ ] 能手写 MLE 并解释无偏性/一致性
- [ ] 能手写 z/t 检验并讲清两类错误与 p 值误区
- [ ] 能选择并手写卡方/ANOVA/非参数检验
- [ ] 能手写皮尔逊 r、OLS 闭式解并做残差诊断
- [ ] 能完成贝叶斯后验更新与朴素贝叶斯分类
- [ ] 能完成单因素/双因素 ANOVA 与效应量
- [ ] 能讲清偏差-方差权衡并执行交叉验证
- [ ] 高频题 80+ 题可现场作答,手撕清单可现场完成