📋 语音识别与合成高频面试题清单¶
用法:能独立讲清的题打勾
- [x];"讲不清/没推导过"的标⏳,优先补齐。 打勾标准:不看资料,能现场写出公式、讲出流程、说出适用场景。
1. 语音信号基础与特征¶
📍 教学笔记 →
00-语音信号基础与特征提取.ipynb(分帧加窗/STFT/语谱图/MFCC·Fbank 从零手写/VAD)
- [ ] 采样定理(Nyquist)内容;采样率不足的后果(混叠);语音/电话/音乐常用采样率
- [ ] 量化与位深:16bit 的动态范围(约 96dB),量化噪声与信噪比
- [ ] 为什么分帧加窗(短时平稳假设);帧长/帧移怎么定(如 25ms / 10ms)
- [ ] 窗函数选择:矩形窗 vs 汉明窗 vs 汉宁窗,主瓣宽度与旁瓣泄漏的 trade-off
- [ ] STFT 与语谱图:时频分辨率权衡,怎么读语谱图(横轴/纵轴/亮度)
- [ ] Mel 刻度的动机:人耳对频率的非线性感知,Mel 频率转换公式
- [ ] MFCC 全流程:预加重 → 分帧加窗 → FFT → Mel 滤波 → log → DCT →(差分/CMVN)
- [ ] MFCC vs Fbank:DCT 的作用(去相关/降维),为什么神经网络更多用 Fbank
- [ ] VAD 与端点检测:能量/过零率法思路,静音段删除
- [ ] CMVN(特征倒谱均值方差归一化)解决什么问题,会话级 vs 说话人级
2. 传统语音识别(GMM-HMM 与 DTW)¶
📍 教学笔记 →
01-传统语音识别GMM-HMM与DTW.ipynb(DTW 手写/HMM 前向·维特比手写/GMM-EM/孤立词识别实验)
- [ ] DTW 原理与递推公式;与编辑距离/序列对齐的关系
- [ ] DTW 怎么处理语速差异;复杂度与优化(窗口约束/路径限制)
- [ ] 孤立词识别流程:模板库 + DTW 匹配,识别结果怎么取
- [ ] 为什么用 GMM 建模声学状态;GMM vs 单高斯的差异
- [ ] EM 算法在 GMM 上怎么更新(E 步算后验、M 步更新均值/协方差/权重)
- [ ] HMM 三大问题:评估/解码/学习,分别用什么算法
- [ ] HMM 前向算法 vs 维特比算法:都是 DP,差在哪(求和 vs 取最大)
- [ ] 前向后向(Baum-Welch)更新公式直觉:期望计数怎么来
- [ ] 三音素(triphone)与状态绑定(tied state)的动机
- [ ] 发音词典(lexicon)在识别链路中的作用,OOV 怎么处理
- [ ] WFST 直觉:HCLG 组合是什么,解码搜索怎么在图上做
3. 端到端 ASR(CTC 与 Attention)¶
📍 教学笔记 →
02-端到端ASR-CTC与Attention.ipynb(CTC 前向-后向推导+手写/贪心解码/seq2seq+注意力/CER·WER)
- [ ] CTC 核心思想:对齐路径、blank 符号、折叠规则(合并重复、去 blank)
- [ ] CTC 前向-后向算法在算什么,为什么训练必须用它(对齐隐变量求和)
- [ ] CTC 输出条件独立假设的问题;如何缓解(语言模型/注意力辅助)
- [ ] CTC vs Attention 解码:单调性、延迟、长度外推能力的差异
- [ ] RNN-T 与 CTC 的区别:blank 建模位置的差异,联合网络
- [ ] 贪心解码 vs beam search;怎么引入语言模型(浅融合/重打分)
- [ ] 流式 vs 非流式 ASR:区别与实现思路(chunked attention、单调注意力、延迟罚项)
- [ ] LAS 结构:encoder/decoder/attention,注意力错位/提前终止问题
- [ ] CTC + Attention 联合训练(多任务)的动机
- [ ] 语音大模型(Whisper 等)的编解码结构,与经典端到端 ASR 的异同
4. 语音合成 TTS¶
📍 教学笔记 →
03-语音合成TTS-Tacotron与VITS.ipynb(注意力 TTS/Griffin-Lim 手写/flow·VAE 直觉/MOS 评估)
- [ ] TTS 管线:文本前端 → 声学模型 → 声码器,各自作用与输入输出
- [ ] 声学模型 vs 声码器:代表模型、训练目标、部署形态
- [ ] Tacotron 注意力:文本与频谱的对齐机制,常见问题(跳字/重复/停不下来)
- [ ] 时长/韵律建模:音素时长怎么预测,FastSpeech 非自回归的动机与一致性正则
- [ ] Griffin-Lim 原理:从幅度谱迭代估计相位的优化目标、优缺点
- [ ] 声码器演进:Griffin-Lim → WaveNet → HiFi-GAN,各自 trade-off
- [ ] VITS 思路:VAE + flow + 对抗训练端到端,为什么能"端到端"
- [ ] flow 与 VAE 直觉:可逆变换/隐变量建模对音质与可控性的作用
- [ ] 端到端 TTS vs 两阶段(声学模型+声码器)的对比与部署取舍
- [ ] 韵律控制:语速/停顿/重音怎么建模;说话人/情感控制(如参考音频)
5. 评估与工程¶
📍 教学笔记 →
04-语音面试八股与高频题.ipynb(70 连问速答+手撕(MFCC/CTC/DTW/Griffin-Lim)+谱系图)
- [ ] CER/WER 定义与编辑距离计算;同音字/OOV 对 CER 的影响
- [ ] 为什么 ASR 用 CER 而不是字符准确率;什么时候看句子准确率
- [ ] MOS 是什么、怎么组织主观评测(打分维度/样本数/标注一致性)
- [ ] 语音增强概念:降噪/去混响,传统方法 vs 深度方法(谱减/掩膜)
- [ ] 回声消除(AEC)概念与典型场景,与非线性失真的关系
- [ ] VAD 在真实链路(录音→识别→唤醒)中的作用与参数调优
- [ ] ASR 错误类型:替换/插入/删除,各自典型成因与排查思路
- [ ] 流式服务延迟构成:特征提取 → 模型计算 → 解码/重打分 → 结果提交
- [ ] 上线后识别效果变差,排查思路(声学条件/领域文本漂移/特征分布)
6. 语音增强与降噪¶
📍 教学笔记 →
05-语音增强与降噪.ipynb(谱减/维纳滤波/IRM·cIRM 掩码/MLP 神经掩码(numpy 反向传播)/MCRA 噪声跟踪/SI-SDR/混响·多通道)
- [ ] 增强任务定义:加性噪声模型 y = s + n;混响模型 y = s*h + n
- [ ] 谱减法公式与局限(音乐噪声/过减因子 α/谱下限 floor)
- [ ] 维纳滤波推导:最小均方误差解 G = P_s/(P_s + P_n);决策引导先验 SNR
- [ ] IRM / cIRM 掩码定义与 oracle 上界;为什么神经网络学掩码
- [ ] 神经增强训练:掩码 MSE vs 波形损失(SI-SDR)双损失动机
- [ ] 噪声估计:MCRA 思路(语音缺席概率递归平滑);VAD 提供静音段
- [ ] SI-SDR / PESQ / STOI / DNSMOS 各自测什么,什么场景用哪个
- [ ] 因果性(look-ahead):实时增强的约束与折中
- [ ] 多通道增强:波束成形/MVDR 与单通道的关系(选方向 + 清残余)
- [ ] 去混响:晚期混响、WPE 直觉;混响尾裁剪
7. 声纹识别与说话人日志¶
📍 教学笔记 →
06-声纹识别与说话人日志.ipynb(EER/DET 曲线/i-vector 演示/x-vector·ECAPA/AAM-Softmax/PLDA/AHC 聚类/EEND·PIT)
- [ ] 声纹确认(1:1)vs 声纹辨识(1:N);注册-验证流程
- [ ] EER / DET 曲线定义;FAR/FRR 权衡怎么调阈值
- [ ] embedding 提取:x-vector(TDNN)/ ECAPA 结构与池化层
- [ ] 损失函数:softmax → triplet → AAM-Softmax(角度间隔)演进
- [ ] cosine 相似度打分 vs PLDA 打分,什么时候用 PLDA
- [ ] 说话人日志(diarization)流程:VAD → 分段 embedding → 聚类(AHC)
- [ ] EEND 端到端日志与 PIT 损失;PIT 解决编号错位问题
- [ ] 防伪 anti-spoofing:重放/合成/对抗三类攻击,ASVspoof 基准
- [ ] 声纹鲁棒性:信道/混响/口音的数据增强清单
- [ ] 声纹部署:端侧量化、模板更新、隐私合规
8. 语音转换与歌声转换(VC / SVC)¶
📍 教学笔记 →
07-语音转换与歌声转换SVC.ipynb(F0 提取与中值平滑/共振峰搬移可视化/VQ-VAE 量化演示/AutoVC·StarGAN·HuBERT/So-VITS-SVC 管线)
- [ ] VC 与 SVC 区别;内容/音色/韵律三方分离问题
- [ ] 音高搬移:F0 对数域搬移公式,半音与 2^(n/12) 的关系
- [ ] VTLN 直觉:声道长度缩放 → 共振峰搬移
- [ ] VQ-VAE 为什么能分离内容与音色;三项损失(重建/字典/提交)与 stop-gradient
- [ ] AutoVC 信息瓶颈:窄内容向量 + 独立音色向量
- [ ] StarGAN-VC:循环一致性损失公式与作用(非平行转换)
- [ ] HuBERT 内容特征:聚类造标签 + 掩码预测,为什么对 SVC 是革命
- [ ] So-VITS-SVC 管线:HuBERT 内容 + F0 + 音色向量 → VITS 声学 → HiFi-GAN
- [ ] SVC 数据要求与预处理(伴奏分离/切分/F0 平滑);评测三件套(音色相似/内容保真/MOS)
- [ ] 版权与伦理:声音肖像权、深度伪造风险
9. 语音大模型与语音智能体¶
📍 教学笔记 →
08-语音大模型与语音智能体.ipynb(Whisper 架构/RVQ 音频 token/RNN-T 流式/WER 手算/RTF·延迟对比)
- [ ] 语音大模型三形态:大 ASR(Whisper)/ 音频 tokenizer / 语音对话 LLM
- [ ] Whisper:多任务前缀(语言/转写/翻译/时间戳)、弱监督数据、30s 窗
- [ ] 神经编解码(EnCodec/SoundStream)与残差 VQ:层数语义/细节分层
- [ ] 语义 token(HuBERT) vs 声学 token(RVQ)的区别
- [ ] 怎么把音频喂给 LLM:级联(ASR→LLM→TTS)vs 端到端(音频 token 直接进)
- [ ] RNN-T 与 CTC/Attention 的流式对比;联合网络结构
- [ ] VALL-E / AudioLM / MaskGCT:神经编解码语言模型代表
- [ ] 中文生态:SenseVoice/FunASR/Paraformer/CosyVoice/Seed-TTS
- [ ] 语音智能体工程:VAD 分段/partial/打断双工/多轮记忆/工具调用
- [ ] 延迟指标:首响应延迟、RTF;流式三件套;WER 分场景报告
手撕清单(进教学 notebook)¶
📍 手写实现 →
00(MFCC)、01(DTW)、02(CTC/CER·WER)、03(Griffin-Lim)、05(谱减/维纳/掩码/SI-SDR)、06(EER/DET/AHC 聚类)、07(F0 自相关提取/VQ 量化)、08(RVQ/WER/RNN-T 对齐)九篇 notebook 均已内置可运行实现与数值对照。
- [ ] MFCC 全流程:预加重 → 分帧加窗 → FFT → Mel 滤波 → log → DCT
- [ ] CTC 前向-后向算法(含 blank 路径表、归一化技巧、条件对数似然)
- [ ] DTW 动态规划(递推 + 回溯 + 窗口约束)
- [ ] Griffin-Lim 相位重建迭代(STFT/ISTFT 往返)
- [ ] CER/WER 编辑距离 DP 计算(含删除/插入/替换代价)
- [ ] 谱减法与维纳滤波(STFT 域增益、决策引导先验、过减因子)
- [ ] SI-SDR 公式手写;EER/DET 曲线绘制
- [ ] F0 自相关提取 + 中值平滑(倍频/半频毛刺修复)
- [ ] VQ-VAE 最近邻量化 / RVQ 残差量化(多层码本逐级逼近)
- [ ] RNN-T 对齐路径计数(帧-字交错组合约束)