跳转至

🏗️ 21-大数据与数仓:Hadoop / Spark / Flink / Hive 数仓 / Kafka / 调度

大数据岗位(离线/实时/数仓)面试覆盖 HDFS、MapReduce、Spark、Flink、Hive 分层建模、 Kafka 管道、调度与治理。本模块用 Python 模拟实现讲透每个核心机制: 分块副本、Map/Shuffle/Reduce、RDD 惰性求值与血缘、窗口与水位线、 ODS→DWD→DWS→ADS 四层数仓(sqlite3 实战)、分区与偏移量、DAG 调度。

面向秋招画像:大数据开发、数据仓库、实时计算、数据平台、数据工程 岗位。 前置衔接:17-数据科学(SQL/数据分析)、18-数据分析(业务指标)、 02-机器学习(特征工程,算法特征产出依赖数仓)。

🖼️ 教学 notebook 全部基于 numpy/pandas/matplotlib/sqlite3,无需集群即可运行, 含断言与数值对照(含与 pandas/SQL 的交叉验证);绘图统一中文字体并显式 plt.show()。

知识地图(面试考察的七大块)

大数据与数仓考点
├── 1. 体系与存储  Hadoop 三件套 · HDFS 分块/副本/读写 · 存算分离 · 小文件
├── 2. 离线计算    MapReduce(Map/Shuffle/Reduce)· 词频手写在先 · 局限
├── 3. Spark      RDD/惰性求值/血缘/宽窄依赖/Shuffle · DataFrame vs RDD · Cache
├── 4. 实时计算    Flink 事件时间/Watermark/滚动滑动窗口/迟到处理 · 批 vs 流
├── 5. 数仓建模    ODS/DWD/DWS/ADS 四层 · 星型/雪花/宽表 · 数仓治理
├── 6. 数据管道    Kafka 分区/偏移量/消费者组/重平衡/ACK · 积压排查
└── 7. 平台调度    DAG 编排/依赖/拓扑排序/重试/血缘 · 30 秒全链路串讲

学习路线(推荐顺序)

  1. 搭框架(00):技术栈六层全景 + HDFS 分块/副本/读写流程 ✅
  2. 理解离线计算(01-02):MR 词频手写 → Spark RDD 惰性求值/血缘/Shuffle ✅
  3. 掌握实时计算(03):Flink 事件时间/窗口/Watermark/迟到处理 ✅
  4. 数仓核心(04):sqlite3 实战四层分层 + 星型/雪花建模 + 治理 ✅
  5. 数据管道(05):Kafka 分区/偏移量/消费者组/可靠性 ✅
  6. 平台与冲刺(06-07):DAG 调度 + 血缘 → 30 秒串讲 + 手撕 TopN/两阶段聚合 ✅

教学 Notebook 索引(8 篇,全部通过 nbclient 执行验证)

笔记 核心手写/演示 状态
00-大数据体系与HDFS 六层技术栈、存算分离、文件分块计算、3 副本容错、NameNode/DataNode 读写、5 个高频点 ✅
01-MapReduce Map 产出 (词,1)、Shuffle 排序分组、Reduce 聚合(pandas 对照)、TopN/均值变体、五点局限 ✅
02-Spark核心与RDD 迷你 MiniRDD、惰性求值证明(action 触发)、Spark 风格词频、宽窄依赖与 map 端预聚合、Cache/Checkpoint ✅
03-Flink与实时计算 批 vs 流、事件时间与乱序、滚动/滑动窗口手写、Watermark 更新、迟到数据三策略、与 Spark Streaming 对比 ✅
04-Hive与数仓建模 sqlite3 四层实战(ODS→DWD 清洗→DWS 汇总→ADS 指标)、星型/雪花/宽表、6 个数仓治理点 ✅
05-Kafka与数据管道 Topic/Partition/Offset、key 哈希路由、消费者组消费进度、重平衡、ACK 三档与消费三语义 ✅
06-数据平台与调度 DAG 依赖、拓扑排序、失败重试与依赖阻断、表级血缘三大用途、调度速答 ✅
07-大数据面试八股与高频题 30 秒全链路串讲、18 个高频速答、手撕全局 TopN 分治、两阶段聚合抗倾斜 ✅

🖼️ 图库:自绘高清流程图(300dpi · 教学/images/)

图 说明 用于 Notebook
dw_layers.png 数仓四层分层(ODS→DWD→DWS→ADS) 00
mapreduce_flow.png MapReduce 三阶段流程(Map→Shuffle→Reduce) 01
rdd_lineage.png RDD 血缘与惰性求值(Transformation→Action) 02
flink_watermark.png Flink 事件时间与 Watermark(乱序延迟判定) 03
star_schema.png 星型 vs 雪花模型对比 04
kafka_pipeline.png Kafka 数据管道(生产者→分区→消费者组) 05
bigdata_interview_map.png 大数据面试知识地图(六大块闭环) 07

📌 自绘图的经典论文出处(已写入对应 notebook): dw_layers.png ← Inmon, Building the Data Warehouse, 1992;mapreduce_flow.png / web_mapreduce.png ← Dean & Ghemawat, MapReduce, OSDI 2004;rdd_lineage.png ← Zaharia et al., RDD, NSDI 2012;kafka_pipeline.png / web_kafka_logo.svg ← Kreps et al., Kafka, NetDB 2011;flink_watermark.png ← Carbone et al., Apache Flink, IEEE DEBull 2015;star_schema.png ← Kimball, The Data Warehouse Toolkit, 1996。

📷 真实配图(Wikimedia Commons,已插入对应 notebook)

图 说明 用于 Notebook
web_mapreduce.png MapReduce 完整并行执行流程 01
web_kafka_logo.svg Apache Kafka 官方徽标 05

与其他章节衔接

本模块主题 前置章节 衔接说明
SQL / 数据分析基础 17-数据科学 数仓 SQL 与业务查询的基础
业务指标 / 指标体系 18-数据分析 数仓指标与业务口径的落地
特征工程 / 训练数据 02-机器学习 算法特征依赖数仓产出
实时推荐特征 19-推荐系统 实时特征管道(Flink+Kafka)支撑推荐
数据清洗 / EDA 17-数据科学 03-数据清洗 DWD 层清洗方法与单机 EDA 同源

面试高频题型(详见 高频面试题.md)

  • 存储类:HDFS 分块与副本、NameNode 单点、小文件问题、存算分离
  • 离线计算类:MR 三阶段、Shuffle 为什么慢、Spark vs MR、RDD 血缘、宽窄依赖
  • 实时计算类:事件时间 vs 处理时间、Watermark、窗口类型、迟到数据处理、精确一次
  • 数仓类:四层职责、星型 vs 雪花、指标口径统一、数据倾斜、SCD 慢变维
  • 管道类:Kafka 分区与有序性、消费者组与重平衡、消息积压、ACK 三档
  • 平台类:DAG 调度与依赖、失败重试、血缘用途、数据质量四维度

验收标准

  • [ ] 能画出大数据技术栈六层全景图并串讲一条数据全链路
  • [ ] 能讲清 HDFS 分块/副本/读写流程并答 5 个高频点
  • [ ] 能手写 MR 词频统计并与 pandas 对照
  • [ ] 能解释 RDD 惰性求值、血缘、宽窄依赖与 Shuffle
  • [ ] 能手写滚动/滑动窗口,讲清 Watermark 与迟到处理
  • [ ] 能用 sqlite3 构建 ODS/DWD/DWS/ADS 四层并写出各层 SQL
  • [ ] 能讲清 Kafka 分区/偏移量/消费者组/重平衡与可靠性
  • [ ] 能实现拓扑排序、失败重试与两阶段聚合抗倾斜
  • [ ] 能答 18 个高频速答题并完成 TopN 分治手撕

教程来源:Akun-python/autumn-recruitment。 MIT 许可证全文。