🖼️ 20-多模态大模型 · 高频面试题清单¶
配套 20-多模态大模型/README.md。目标:讲得清架构、算得出损失、背得全基准。 建议配合
教学/06-多模态面试八股.ipynb刷题。
使用建议¶
- [ ] 第一遍:快速扫读,划出不会的题;
- [ ] 第二遍:每题先自己想 30 秒,再对照要点;
- [ ] 第三遍:模拟面试,把答案讲出来(讲≠想)。
一、对比学习与 CLIP 题(10 题)¶
- [ ] 1. CLIP 的训练目标是什么?核心思想一句话。
- [ ] 2. 默写 InfoNCE 损失?分子分母各是什么?
- [ ] 3. 温度参数 τ 的作用?τ 太大/太小会怎样?
- [ ] 4. 为什么 CLIP 能做 zero-shot 分类?做法是什么(文本模板)?
- [ ] 5. CLIP 的两个编码器各是什么?(图像:ViT/ResNet;文本:Transformer)
- [ ] 6. 对比学习中正样本怎么构造?负样本怎么构造(batch 内负样本)?
- [ ] 7. CLIP 的局限有哪些?(细粒度/长尾/英文偏置/计数与位置)
- [ ] 8. 为什么超大 batch 对对比学习重要?算力瓶颈呢?
- [ ] 9. 图像与文本 embedding 为什么要归一化?L2 归一化影响相似度计算。
- [ ] 10. SigLIP / ALIGN 与 CLIP 有何不同?
二、ViT 与图像编码题(10 题)¶
- [ ] 11. ViT 输入怎么来?patch 大小怎么选(16x16 常见)?
- [ ] 12. patch 切分后序列长度是多少?(H/16 × W/16,再加 CLS)
- [ ] 13. 位置编码怎么做?可学习和正弦各有什么特点?
- [ ] 14. CLS token 的作用?为什么用它做分类而非平均池化?
- [ ] 15. ViT 的自注意力复杂度?为什么受分辨率影响大(O(N²))?
- [ ] 16. CNN vs ViT 六维对比?(局部性/数据需求/扩展性等)
- [ ] 17. EVA-CLIP / SigLIP 里的视觉编码器有什么改进?(归一化/窗口注意力等)
- [ ] 18. 怎么让 ViT 处理高分辨率?(分桶/动态分辨率/大 kernel)
- [ ] 19. 视觉 token 太多会怎样?压缩方案有哪些?
- [ ] 20. 冻结的视觉编码器 vs 全量微调,何时选哪个?
三、视觉语言模型(VLM)题(12 题)¶
- [ ] 21. VLM 通用架构?(视觉编码器 → 对齐层 → LLM)
- [ ] 22. Q-Former 是什么?query 怎么压缩视觉信息?
- [ ] 23. BLIP-2 分哪几个阶段训练?各阶段冻结什么?
- [ ] 24. LLaVA 的对齐层是什么?(MLP/线性投影)为什么简单有效?
- [ ] 25. 三阶段训练范式?(对齐 → 指令微调 → 可选全量/RLHF)
- [ ] 26. 训练时为什么要冻结视觉编码器?(省显存/防遗忘/对齐层先学)
- [ ] 27. 视觉 token 数量怎么权衡?(信息量 vs 计算量)
- [ ] 28. 多轮对话里图像 token 怎么处理?(保留在上下文 vs 压缩)
- [ ] 29. 幻觉(hallucination)是什么?怎么缓解?
- [ ] 30. OCR/文字识别能力弱怎么办?(高分辨率+格子化 SSV)
- [ ] 31. Qwen-VL / GPT-4V / Gemini 的架构思路有何区别?
- [ ] 32. 指令微调数据一般有哪些来源?(LLaVA-Instruct 等)
四、视频与音视频题(8 题)¶
- [ ] 33. 视频怎么喂给模型?帧采样策略有哪些?
- [ ] 34. 视频建模三条路线?(帧拼接/时间池化/时序注意力)
- [ ] 35. 帧位置编码有必要吗?为什么?
- [ ] 36. 长视频 token 爆炸怎么办?(关键帧/分段/记忆池/压缩)
- [ ] 37. 音视频怎么对齐?对比学习怎么用?
- [ ] 38. 视频问答(VideoQA)怎么评测?
- [ ] 39. 视频 vs 图片异同:时间维带来了什么问题?
- [ ] 40. VideoLLM 的时序理解为什么难?(事件定位/因果/长依赖)
五、扩散模型与图文生成题(12 题)¶
- [ ] 41. 扩散模型的思想?前向和反向分别做什么?
- [ ] 42. 默写前向加噪公式?噪声调度(beta schedule)什么作用?
- [ ] 43. 训练目标是什么?(预测噪声 MSE)为什么不是直接预测 x0?
- [ ] 44. DDPM 反向采样怎么迭代?DDIM 快在哪(少步/确定性)?
- [ ] 45. Stable Diffusion 为什么在潜空间扩散?(算力/分辨率)
- [ ] 46. 文本条件怎么注入?(cross-attention)CLIP 文本编码器的作用?
- [ ] 47. CFG(Classifier-Free Guidance)公式?w=7 常见,w 太大/太小?
- [ ] 48. DiT 与 UNet 的区别?(Transformer 替换 UNet)
- [ ] 49. VQ-VAE 是什么?离散 token 与自回归生成的关系(DALL·E 1)?
- [ ] 50. FID / IS 各衡量什么?(分布距离/多样性和清晰度)
- [ ] 51. ControlNet / LoRA 做什么?(可控生成/个性化)
- [ ] 52. 采样加速方法有哪些?(DDIM/DPM-Solver/蒸馏)
六、评估与工程题(10 题)¶
- [ ] 53. 图文检索怎么评估?(Recall@K,text->image 与 image->text 双向)
- [ ] 54. CLIP score 是什么?局限?
- [ ] 55. 多模态理解基准有哪些?(MMBench/MMMU/MM-Vet/SEED-Bench)
- [ ] 56. 多模态评测有哪些陷阱?(数据泄漏/prompt 敏感/语言偏置)
- [ ] 57. 怎么测中文多模态模型?(MMBench-CN 等)
- [ ] 58. 推理时显存不够怎么办?(量化/视觉 token 压缩/蒸馏小模型)
- [ ] 59. vLLM 等推理框架对多模态的支持?(图像 token 进 KV cache)
- [ ] 60. 怎么给多模态模型做 RAG?(图像检索 + 文本生成)
- [ ] 61. 数据清洗怎么保证图文对质量?(CLIP 打分会泄漏吗)
- [ ] 62. 上线后的监控指标?(检索准确率/生成相关性/安全)
七、手撕与推导题(8 题)¶
- [ ] 63. 手写 InfoNCE 损失(含温度)并验证对角最大
- [ ] 64. 手写 ViT patch 切分(reshape trick)
- [ ] 65. 手写简化自注意力(Q/K/V、softmax、行归一化验证)
- [ ] 66. 手写前向加噪 q_sample
- [ ] 67. 手写图文检索 Recall@K
- [ ] 68. 手写 zero-shot 分类(模板+相似度+argmax)
- [ ] 69. 推导 softmax 对温度 τ 的敏感性(τ→0 分布尖锐)
- [ ] 70. 手写"视觉 token → 对齐 → LLM 输入"流程
附:90 秒背诵骨架¶
主线:多模态 = 对齐(CLIP/InfoNCE)→ 理解(VLM:编码器+对齐层+LLM)→ 生成(扩散)。 CLIP:对比学习,图文共空间;InfoNCE 分子正对相似度、分母全对;τ 控尖锐度;zero-shot=模板+相似度。 VLM:Q-Former(query 压缩)vs 线性投影(LLaVA);三阶段=对齐→指令→全量/RLHF;冻结=省显存/防遗忘。 ViT:patch→投影+位置编码→(CLS)→self-attention;O(N²) 限制分辨率;CNN 有归纳偏置、ViT 靠数据。 扩散:前向 x_t=√ᾱx0+√(1-ᾱ)ε;训练预测 ε;采样 DDPM 迭代去噪;SD 潜空间+cross-attention 注入文本;CFG:ε=ε_un+w(ε_c-ε_un)。 评测:检索 Recall@K、CLIP score、FID、MMBench/MMMU;陷阱=泄漏/prompt 敏感/语言偏置。 常见坑:token 多、分辨率、OCR 弱、幻觉、多语言、长视频、显存。