跳转至

🤖 14-具身智能:从「看懂的 AI」到「会动手的 AI」

🖼️ 配图:6 篇教学 notebook 均配有 Wikimedia Commons 网络示意图(机器人运动学/点云/路径规划/VLA 架构/sim2real/工业机器人,见 教学/images/web_*,标注出处与许可)+本地 matplotlib 演示图(emb*)。

📖 深化:每篇在「面试考点」前新增 「模型详解(面试深度)」 大节——机器人学(位姿三件套/齐次变换/DH 正逆运动学/雅可比/动力学)、感知(PointNet/PointPillars/SAM/BEVFormer/Occupancy/SLAM)、规划控制(A*/RRT/样条/PID/MPC/CHOMP/阻抗/行为树)、VLA(RT-1/RT-2/PaLM-E/OpenVLA/ACT/Diffusion Policy/VQ-BET/π0/GR00T 档案卡 + VQ-VAE/DDPM/流匹配公式)、Sim2Real(物理引擎/域随机化/系统辨识/数据配方)与全章模型档案总表,全部 LaTeX 公式 + 面试记忆点。

具身智能(Embodied AI)= 感知(看懂环境)+ 决策/规划(想好动作)+ 控制(动起来)+ 学习(越做越强) 的闭环, 是大模型从"聊天"走向"干活"的关键方向(RT-2 / OpenVLA / π0 / GR00T / 宇树 / 智元 等均属此赛道)。

面向秋招画像:具身智能 / 机器人算法 / 机器人学习 / 自动驾驶 岗位。与 09-计算机视觉、07-强化学习、04-LLM 大模型、08-优化算法 直接衔接。

学完本模块,你应该能回答:齐次变换矩阵为什么能同时表达旋转和平移?正逆运动学解决什么问题? VLA 模型把视觉、语言、动作怎么拼在一起?仿真数据怎么迁移到真机(sim2real)?


📚 模块内容(6 篇教学 Notebook)

编号 内容 一句话定位
00 机器人学基础 位姿表示、齐次变换、DH 参数、正/逆运动学、雅可比矩阵、轨迹
01 感知与环境理解 RGB-D、点云、目标检测/分割、3D 感知、SLAM 简述、场景表示
02 规划与控制 路径规划(RRT/A*)、轨迹插值、PID、MPC、阻抗控制、安全约束
03 VLA:视觉-语言-动作模型 RT-1/RT-2/OpenVLA/π0/GR00T、动作 token 化、VLA 训练管线、世界模型
04 仿真、数据与 sim2real Isaac 仿真、遥操作、数据管线、域随机化、Sim2Real 迁移、评估
05 具身智能面试八股与高频题 全模块公式+概念速查 + 高频追问 20 问(考前 30 分钟)

🗺️ 建议学习路线

第 1 遍(打地基,1 周):00 → 01 → 02 → 03 → 04 → 05
   (00-02 是机器人硬核基础,03-04 是 2023 后最热的 VLA/数据方向)
第 2 遍(对着已有章节用):
   09-计算机视觉       → 翻 01 感知(检测/分割/点云)
   07-强化学习         → 翻 02 控制(MPC/策略)、04 sim2real(域随机化)
   04-LLM大模型        → 翻 03 VLA(多模态对齐、动作生成)
第 3 遍(考前速查):只看 05 八股 + 每篇「面试考点」小节

🔗 与其他章节的衔接

本模块知识 依赖的已有章节
齐次变换 / 旋转矩阵 01-线代(矩阵)、00-高数(三角函数)
感知模型(检测/分割) 09-计算机视觉(CNN/YOLO/U-Net)
规划 / MPC / 优化 08-优化算法(凸优化/KKT/LP)、00-数学最优化
学习策略(模仿/RL) 07-强化学习(PPO/DQN)、12-智能体(轨迹学习)
VLA 多模态对齐 04-LLM大模型(Tokenizer/Attention/RLHF)、10-NLP(Transformer)

✅ 自测清单(学完打勾)

  • [ ] 能手写:绕 z 轴旋转矩阵、齐次变换矩阵乘法(先平移后旋转)
  • [ ] 能讲清:正运动学和逆运动学分别解决什么问题、雅可比矩阵的意义
  • [ ] 能讲清:RRT 为什么概率完备、A* 的启发函数为什么必须可采纳
  • [ ] 能手写:PID 三个增益分别管什么、MPC 的优化目标长什么样
  • [ ] 能讲清:RT-2 / OpenVLA 如何把动作变成 token 参与序列生成
  • [ ] 能讲清:sim2real 域随机化的核心思想与典型做法
  • [ ] 能讲清:遥操作数据 vs 仿真数据 vs 互联网视频数据各自的优劣

配套根目录 README · 全仓库模块总览见 模块索引

教程来源:Akun-python/autumn-recruitment。 MIT 许可证全文。