跳转至

📐 23-统计学:从入门到精通

统计学岗位 = 把不确定性问题翻译成可量化的推断:描述数据 → 建立分布模型 → 估计参数 → 检验假设 → 回归关联 → 贝叶斯更新 → 综合建模。本模块从「描述统计」起步, 一路走到「统计学习与建模实战」,共 12 篇 notebook,全部手写实现 + 数值对照, 覆盖秋招统计学岗 / 数据科学岗 / 算法岗的统计考点。

与 00-数学基础(概率论与统计)、17-数据科学(统计推断/AB 实验/因果推断)、 18-数据分析(业务指标/分析方法)互补:本模块把统计学本身按由浅入深的完整体系讲透。

🖼️ 配图与深化:教学 notebook 全部基于 numpy/pandas/scipy/matplotlib/statsmodels/sklearn,自包含可执行, 含断言与数值对照(手写 vs 库实现);绘图统一中文字体并显式 plt.show()。

📖 论文配图(figures/,全部开放获取、每幅注明出处):12 篇每篇至少 1 张真实期刊论文插图, 共 15 张,均配中文"怎么读这张图"图注——Anscombe 四重奏 / ANOVA 雨云图(Ott et al. 2025, Behavior Research Methods)、分布可视化(Thrun et al. 2020, PLOS ONE)、SOCR CLT 模拟器(Dinov et al. 2008, J Stat Educ)、估计量相对效率(Zaagan et al. 2024, Heliyon)、p 值三大误区与 p 值直方图 (Kim & Bang 2016, Dental Hypotheses)、χ² 密度对照(Lin & Bentler 2012, Multivar Behav Res)、 相关与回归 / 残差诊断(Bewick et al. 2003, Critical Care)、贝叶斯先验→后验可视化(Alter et al. 2025, Int J Psychol)、偏差-方差与双下降(Belkin et al. 2019, PNAS)、ROC 曲线(Gönen 2013, Acad Radiol)。

知识地图(入门的六层 → 精通的四层)

统计学知识地图
├── 入门层
│   ├── 1. 描述统计      均值/中位数/众数 · 方差/标准差 · 分位数/IQR · 偏度/峰度 · 箱线图/直方图
│   ├── 2. 概率分布      离散(伯努利/二项/泊松) · 连续(均匀/正态/指数/t/卡方/F) · 期望/方差/矩
│   ├── 3. 抽样与CLT     抽样分布 · 标准误 · 中心极限定理 · 大数定律 · 正态逼近的条件
│   ├── 4. 参数估计      点估计/无偏性/有效性/一致性 · MLE · 矩估计 · 置信区间
│   ├── 5. 假设检验      检验框架 · p 值 · 两类错误 · z/t 检验 · 功效与样本量
│   └── 6. 进阶检验      卡方(拟合优度/独立性) · ANOVA · 非参数(符号/秩和/KS) · 多重比较
├── 精通层
│   ├── 7. 相关与回归    皮尔逊/斯皮尔曼 · 一元/多元 OLS · 正规方程 · R²/调整R² · 残差诊断
│   ├── 8. 贝叶斯统计    先验/似然/后验 · 共轭先验 · 贝叶斯因子 · 朴素贝叶斯 · MCMC 直觉
│   ├── 9. ANOVA与实验  单因素/双因素/重复测量 · 交互作用 · 多重比较校正 · 效应量
│   └── 10. 统计学习     偏差-方差权衡 · 交叉验证 · 正则化(L1/L2) · 分类评估(混淆矩阵/AUC)

学习路线(推荐顺序)

  1. 入门打底(00-02):描述性统计 → 概率分布 → 抽样分布与 CLT(手写 vs numpy/scipy 对照)✅
  2. 推断核心(03-05):参数估计与 MLE → 假设检验入门 → 假设检验进阶(卡方/ANOVA/非参数)✅
  3. 建模进阶(06-08):相关与回归 → 贝叶斯统计 → ANOVA 与实验设计 ✅
  4. 精通实战(09-11):统计学习基础 → 综合实战案例(全流程)→ 面试八股与手撕 ✅

教学 Notebook 索引(12 篇,全部通过 nbclient 执行验证)

笔记 核心手写/演示 状态
00-描述性统计与数据可视化 均值/中位数/方差/分位数手写 vs numpy、分布形状、箱线图/直方图 ✅
01-概率论基础与常见分布 离散/连续分布手写 PMF/PDF、期望方差、正态 vs t vs 卡方 vs F ✅
02-抽样分布与中心极限定理 CLT 模拟验证、标准误、大数定律、正态逼近条件 ✅
03-参数估计与极大似然 点估计三大性质、MLE 手写、矩估计、置信区间 ✅
04-假设检验入门 检验框架、z/t 检验手写 vs scipy、两类错误、p 值 ✅
05-假设检验进阶 卡方拟合优度/独立性、非参数检验、ANOVA、多重比较 ✅
06-相关与回归分析 皮尔逊/斯皮尔曼手写 vs scipy、OLS 正规方程、R²、残差诊断 ✅
07-贝叶斯统计入门 贝叶斯公式、共轭先验、后验更新、贝叶斯因子、朴素贝叶斯 ✅
08-方差分析ANOVA与实验设计 单因素/双因素 ANOVA、交互作用、效应量、多重比较校正 ✅
09-统计学习基础 偏差-方差分解、交叉验证、L1/L2 正则化、分类评估 ✅
10-统计建模综合实战 真实数据全流程:EDA → 建模 → 检验 → 报告 ✅
11-统计学面试八股与高频题 80 连问速答 + 手撕(MLE/检验/回归/贝叶斯/ANOVA) ✅

与其他章节衔接

本模块主题 前置章节 衔接说明
概率论与分布基础 00-数学基础 02-概率论与统计 那边打概率公理与随机变量基础,本模块补统计推断全流程
统计推断 / 假设检验 17-数据科学 00-统计推断 本模块更系统地从入门讲到精通,17 侧重业务落地
回归 / 机器学习基础 02-机器学习 本模块从统计视角讲 OLS 与推断,建模调参交给 ML 模块
业务指标 / 数据分析 18-数据分析 描述统计与业务指标的口径落地
时序数据统计 11-时间序列 平稳性检验/相关性在时序中的延伸

面试高频题型(详见 高频面试题.md)

  • 描述统计类:均值/中位数/众数对比、方差 vs 标准差、IQR 离群值、偏度/峰度含义
  • 概率分布类:二项 vs 泊松、正态分布 3σ、t 分布 vs 正态、卡方/F 分布用途
  • 推断类:CLT、标准误 vs 标准差、MLE、无偏性、置信区间理解、p 值经典误解
  • 检验类:z vs t 选择、两类错误、功效与样本量、卡方适用条件
  • 回归类:皮尔逊 vs 斯皮尔曼、OLS 假设、R²、多重共线性、回归≠因果
  • 贝叶斯类:先验/后验、共轭、贝叶斯 vs 频率派
  • 进阶类:ANOVA 前提、多重比较修正、偏差方差、交叉验证

验收标准

  • [ ] 能手写均值/中位数/方差/分位数并与 numpy/scipy 对照
  • [ ] 能默写常见分布 PMF/PDF 并画出形状
  • [ ] 能用模拟验证 CLT,讲清标准误与样本量关系
  • [ ] 能手写 MLE 并解释无偏性/一致性
  • [ ] 能手写 z/t 检验并讲清两类错误与 p 值误区
  • [ ] 能选择并手写卡方/ANOVA/非参数检验
  • [ ] 能手写皮尔逊 r、OLS 闭式解并做残差诊断
  • [ ] 能完成贝叶斯后验更新与朴素贝叶斯分类
  • [ ] 能完成单因素/双因素 ANOVA 与效应量
  • [ ] 能讲清偏差-方差权衡并执行交叉验证
  • [ ] 高频题 80+ 题可现场作答,手撕清单可现场完成

教程来源:Akun-python/autumn-recruitment。 MIT 许可证全文。