🤖 14-具身智能:从「看懂的 AI」到「会动手的 AI」¶
🖼️ 配图:6 篇教学 notebook 均配有 Wikimedia Commons 网络示意图(机器人运动学/点云/路径规划/VLA 架构/sim2real/工业机器人,见
教学/images/web_*,标注出处与许可)+本地 matplotlib 演示图(emb*)。📖 深化:每篇在「面试考点」前新增 「模型详解(面试深度)」 大节——机器人学(位姿三件套/齐次变换/DH 正逆运动学/雅可比/动力学)、感知(PointNet/PointPillars/SAM/BEVFormer/Occupancy/SLAM)、规划控制(A*/RRT/样条/PID/MPC/CHOMP/阻抗/行为树)、VLA(RT-1/RT-2/PaLM-E/OpenVLA/ACT/Diffusion Policy/VQ-BET/π0/GR00T 档案卡 + VQ-VAE/DDPM/流匹配公式)、Sim2Real(物理引擎/域随机化/系统辨识/数据配方)与全章模型档案总表,全部 LaTeX 公式 + 面试记忆点。
具身智能(Embodied AI)= 感知(看懂环境)+ 决策/规划(想好动作)+ 控制(动起来)+ 学习(越做越强) 的闭环, 是大模型从"聊天"走向"干活"的关键方向(RT-2 / OpenVLA / π0 / GR00T / 宇树 / 智元 等均属此赛道)。
面向秋招画像:具身智能 / 机器人算法 / 机器人学习 / 自动驾驶 岗位。与 09-计算机视觉、07-强化学习、04-LLM 大模型、08-优化算法 直接衔接。
学完本模块,你应该能回答:齐次变换矩阵为什么能同时表达旋转和平移?正逆运动学解决什么问题? VLA 模型把视觉、语言、动作怎么拼在一起?仿真数据怎么迁移到真机(sim2real)?
📚 模块内容(6 篇教学 Notebook)¶
| 编号 | 内容 | 一句话定位 |
|---|---|---|
| 00 | 机器人学基础 | 位姿表示、齐次变换、DH 参数、正/逆运动学、雅可比矩阵、轨迹 |
| 01 | 感知与环境理解 | RGB-D、点云、目标检测/分割、3D 感知、SLAM 简述、场景表示 |
| 02 | 规划与控制 | 路径规划(RRT/A*)、轨迹插值、PID、MPC、阻抗控制、安全约束 |
| 03 | VLA:视觉-语言-动作模型 | RT-1/RT-2/OpenVLA/π0/GR00T、动作 token 化、VLA 训练管线、世界模型 |
| 04 | 仿真、数据与 sim2real | Isaac 仿真、遥操作、数据管线、域随机化、Sim2Real 迁移、评估 |
| 05 | 具身智能面试八股与高频题 | 全模块公式+概念速查 + 高频追问 20 问(考前 30 分钟) |
🗺️ 建议学习路线¶
第 1 遍(打地基,1 周):00 → 01 → 02 → 03 → 04 → 05
(00-02 是机器人硬核基础,03-04 是 2023 后最热的 VLA/数据方向)
第 2 遍(对着已有章节用):
09-计算机视觉 → 翻 01 感知(检测/分割/点云)
07-强化学习 → 翻 02 控制(MPC/策略)、04 sim2real(域随机化)
04-LLM大模型 → 翻 03 VLA(多模态对齐、动作生成)
第 3 遍(考前速查):只看 05 八股 + 每篇「面试考点」小节
🔗 与其他章节的衔接¶
| 本模块知识 | 依赖的已有章节 |
|---|---|
| 齐次变换 / 旋转矩阵 | 01-线代(矩阵)、00-高数(三角函数) |
| 感知模型(检测/分割) | 09-计算机视觉(CNN/YOLO/U-Net) |
| 规划 / MPC / 优化 | 08-优化算法(凸优化/KKT/LP)、00-数学最优化 |
| 学习策略(模仿/RL) | 07-强化学习(PPO/DQN)、12-智能体(轨迹学习) |
| VLA 多模态对齐 | 04-LLM大模型(Tokenizer/Attention/RLHF)、10-NLP(Transformer) |
✅ 自测清单(学完打勾)¶
- [ ] 能手写:绕 z 轴旋转矩阵、齐次变换矩阵乘法(先平移后旋转)
- [ ] 能讲清:正运动学和逆运动学分别解决什么问题、雅可比矩阵的意义
- [ ] 能讲清:RRT 为什么概率完备、A* 的启发函数为什么必须可采纳
- [ ] 能手写:PID 三个增益分别管什么、MPC 的优化目标长什么样
- [ ] 能讲清:RT-2 / OpenVLA 如何把动作变成 token 参与序列生成
- [ ] 能讲清:sim2real 域随机化的核心思想与典型做法
- [ ] 能讲清:遥操作数据 vs 仿真数据 vs 互联网视频数据各自的优劣