编程导航教程

首页

具身智能开发学习路线 | 26年最新零基础到精通一条龙(万人收藏⭐️)

2026-11-20 16:01
阅读 10
评论
问答
笔记
0个评论
点击登录,快来和大家讨论吧~
表情
图片
暂无评论
大纲
    0

    编程导航学习网站:学编程、做项目、拿 Offer!

    企业高频面试题库:开始刷题,面试遇原题!

    精选简历模板大全:1 分钟搞定简历!

    AI 资源导航网站:获取最新 AI 黑科技!

    1 对 1 模拟面试:随时随地提升面试能力

    ⭐️ 推荐先观看 鱼皮的保姆级 AI 指南视频,快速掌握程序员必知必会的 AI 概念、AI 工具、AI 开发技术、AI 编程技巧。

    开篇介绍

    这两年,你一定刷到过各种机器人的视频,有的人形机器人在春晚舞台上扭秧歌,有的机械臂能叠衣服、做早餐,还有的机器狗能在山路上奔跑跳跃。这些机器人背后的技术,就是当下最火热的方向之一,具身智能(Embodied AI)。

    简单来说,具身智能就是 让 AI 拥有一个 “身体”。之前的大模型只能在屏幕里聊天、写代码、画图,而具身智能要让 AI 走进物理世界,能看到周围的环境、理解人类的指令,并且通过机械臂、灵巧手、双足或者轮子真正动手完成任务。它是 “感知、决策、行动” 三者的结合。

    比如你对机器人说 “把红色杯子放进水槽”,它要先用摄像头看清桌面,再规划怎么抓、往哪放,最后控制机械臂动手完成,三个环节循环往复,直到任务结束。

    具身智能的感知、决策、行动闭环示意图,机器人根据 “把红色杯子放进水槽” 的指令,在物理世界中循环完成感知、决策和行动。

    为什么具身智能会在这两年突然爆发呢?一个很重要的原因是大模型带来的技术范式转变。过去的机器人大多只能在工厂里按照预先编写好的程序重复同一个动作,换个场景就要重新编程。而现在,研究者把大模型的视觉理解和语言理解能力,跟机器人的动作控制结合到了一起,形成了 VLA(Vision-Language-Action,视觉 - 语言 - 动作)模型。你只需要用自然语言告诉机器人 “把桌上的红色杯子放进水槽”,它就能自己看懂场景、规划动作并执行。Physical Intelligence 的 π0.5、NVIDIA 的 GR00T 等开源模型,更是让普通开发者也能在自己的机械臂上跑起前沿的 VLA 模型。

    同时,学习具身智能的门槛也在快速降低。Hugging Face 推出的 LeRobot 开源框架,配合一套硬件成本只要一两千元、可以 3D 打印组装的 SO-101 机械臂,让你在自己家里就能完成 “遥操作采集数据、训练模型、部署到真机” 的完整流程。

    人才市场同样非常火热。脉脉的人才报告显示,在求职者中,有 17.4% 的人最想去具身智能或智能硬件企业,宇树科技也成了求职者最关注的公司之一。

    不过我要提前说明一下,具身智能是一个横跨 AI、机器人学、控制、硬件的交叉学科,要学的东西确实不少。好消息是,你不需要把所有东西都学完,根据自己的背景选准一个方向深入就够了。

    学习路线图

    ▼
    mermaid
    复制代码
    graph LR A[编程和数学基础] --> B[AI 和深度学习基础] A --> C[机器人学基础] B --> E[机器人学习] C --> D[ROS 2 和仿真] D --> E E --> F[VLA 大模型] F --> G[部署和 Sim2Real] G --> H[项目实战和求职]

    每个阶段要掌握的知识点,可以看下面这张完整的思维导图:

    具身智能开发学习路线思维导图

    就业方向

    具身智能的岗位可以大致分为算法研发和工程落地两大类,下面是几个常见的方向。

    1. VLA 和具身大模型算法工程师:负责训练和改进把视觉、语言、机器人状态转换成动作的模型,通常要求硕博背景或较强的论文复现能力
    2. 机器人学习和强化学习工程师:负责模仿学习和强化学习算法的研发,比如让四足机器人和人形机器人学会稳定行走
    3. 机器人软件和部署工程师:负责把感知、决策、控制模块和硬件连接成一个稳定运行的系统,ROS 2、C++ 是核心技能,对有编程基础的同学最友好
    4. 仿真工程师:负责搭建仿真环境、合成训练数据,让机器人先在虚拟世界里学会技能
    5. 具身数据工程师:负责机器人数据的采集、清洗、标注和管理,是 “数据决定上限” 的具身智能领域中非常关键的岗位
    6. 导航和 SLAM 工程师:负责让机器人在环境中建图、定位和规划路径

    对于有编程基础、想从软件开发转型的同学,机器人软件和部署工程师是最容易切入的方向;如果你是在校生、数学和 AI 基础比较好,可以冲击算法研发岗。

    整体学习建议

    1)先选方向,再定路线。具身智能涉及的知识太广了,如果什么都想学,很容易陷入 “学了很多却什么都不精” 的困境。建议你先根据自己的背景确定一个大方向。如果你是软件开发背景,重点学 ROS 2、仿真和部署;如果你的 AI 基础比较好,重点学深度学习、模仿学习和 VLA;如果你是机械、自动化等工科背景,可以发挥自己在机器人学和控制方面的优势。

    2)仿真先行,真机验证。机器人硬件既贵又容易损坏,所以大部分学习和实验都可以先在仿真环境里完成。等你在仿真里把算法跑通了,再考虑购买一台入门级的机械臂(比如 SO-101)做真机验证。

    3)实践比论文更重要。企业看重的是你解决过什么问题、能不能把系统真正跑起来,而不是你读了多少篇论文。一个完整的 “数据采集、模型训练、仿真评测、真机部署、失败分析” 闭环项目,比读一百篇论文都有说服力。

    4)善用 AI 编程工具。机器人开发中有大量繁琐的配置和调试工作,比如写 URDF 文件、配置 ROS 2 的 Launch 文件、排查坐标系问题等,这些都可以让 AI 编程工具帮你快速完成。如果你还不熟悉 AI 编程,可以先看我免费开源的 《Vibe Coding 零基础入门教程》。

    ⏰ 对于有一定编程基础的同学,走完工程落地方向的主线大约需要 4 到 6 个月;如果要走算法研发方向,还需要额外投入更多时间深入学习深度学习和机器人学习(仅供参考)。

    阶段 1:编程和数学基础(30 - 60 天,仅供参考)

    具身智能横跨软件和硬件,无论你最终走哪个方向,编程和数学都是绕不开的基础。

    目标

    熟练掌握 Python 和 C++ 编程,能在 Linux 环境下独立开发和调试程序,并具备理解机器人学和深度学习所需的数学基础。

    知识点

    编程语言【必学】

    • Python:深度学习、数据处理和机器人学习的主力语言
    • C++:机器人底层控制、ROS 2 开发和高性能部署的主力语言,重点掌握面向对象、内存管理、多线程
    • NumPy、Pandas、Matplotlib 等数据处理和可视化工具

    开发环境【必学】

    • Linux:Ubuntu 是机器人开发的标准系统,要熟练使用命令行
    • Git 版本管理
    • Docker:解决机器人软件复杂的环境依赖问题
    • CMake 构建工具

    数学基础【必学】

    • 线性代数:向量、矩阵、矩阵变换,是理解坐标变换和神经网络的基础
    • 概率统计:理解传感器噪声、状态估计和强化学习的基础
    • 微积分和优化:理解梯度下降和运动规划的基础

    学习建议

    1)Python 和 C++ 都要学,但侧重点不同。Python 主要用来做 AI 相关的工作,C++ 主要用来做底层控制和高性能部署。如果时间紧张,可以先把 Python 学扎实,C++ 能看懂代码、写出基本的 ROS 2 节点即可,后面再逐步深入。

    2)数学不需要学到能做研究的程度,但线性代数一定要过关。机器人学中大量的坐标变换和姿态表示,本质上都是矩阵运算,线性代数不扎实,后面学习会非常吃力。

    学习资源

    • ⭐ Python 学习路线:鱼皮整理的 Python 完整学习路线
    • ⭐ C++ 学习路线:鱼皮整理的 C++ 完整学习路线
    • Linux 服务器学习路线:Linux 命令行和环境配置
    • Git 和 GitHub 学习路线:版本管理必备
    • Docker 容器化学习路线:解决复杂的环境依赖

    阶段 2:AI 和深度学习基础(30 - 45 天,仅供参考)

    机器人要 “看懂” 世界、“听懂” 指令,靠的是 AI 模型。所以接下来要补充深度学习和计算机视觉的基础。

    目标

    掌握机器学习和深度学习的核心知识,熟练使用 PyTorch 训练模型,理解 Transformer、视觉模型和多模态模型的基本原理。

    知识点

    深度学习基础【必学】

    • 机器学习的基本流程:数据、模型、训练、验证、测试
    • 神经网络、反向传播、损失函数和优化器
    • PyTorch:张量操作、模型定义、训练循环、GPU 加速

    视觉和多模态模型【必学】

    • 卷积神经网络(CNN)和经典的视觉任务:分类、检测、分割
    • Transformer 和视觉 Transformer(ViT)
    • 视觉语言模型(VLM):模型如何同时理解图片和文字
    • 常用视觉工具:OpenCV、YOLO 目标检测

    生成模型【建议学】

    • 扩散模型(Diffusion)和流匹配(Flow Matching):很多先进的机器人策略模型都用它来生成动作
    • 大语言模型的基本原理

    学习建议

    1)这个阶段的深度学习知识和其他 AI 方向基本一致,可以参考 深度学习学习路线 和 计算机视觉学习路线 系统学习。

    2)对于具身智能来说,视觉能力尤其重要,因为机器人主要是通过摄像头来感知世界的。建议至少动手做一个目标检测的小项目,比如用 YOLO 识别桌面上的物体,并输出它们的位置,后面可以直接用在机械臂抓取的项目里。

    3)扩散模型和流匹配看起来是图像生成领域的技术,但它们在机器人领域也非常重要。Diffusion Policy 和 π0 系列模型都用它们来生成平滑、多样的动作序列,如果想走算法方向,一定要理解它们的原理。

    学习资源

    • ⭐ 尚硅谷深度学习教程:适合零基础学习 PyTorch 和神经网络
    • ⭐ 深度学习学习路线:鱼皮整理的深度学习完整路线
    • 计算机视觉学习路线:视觉感知的基础知识
    • 机器学习学习路线:机器学习的基础知识
    • 动手学深度学习:李沐老师的经典开源教材,理论和代码结合得非常好

    阶段 3:机器人学基础(20 - 30 天,仅供参考)

    AI 模型相当于机器人的 “大脑”,而机器人的 “身体” 怎么运动,就要靠机器人学的知识来描述了。

    目标

    理解机器人运动的数学描述,掌握坐标变换、运动学、运动规划和基础控制的原理,了解常见的机器人传感器和标定方法。

    知识点

    坐标变换和姿态表示【必学】

    • 坐标系和齐次变换矩阵
    • 姿态的表示方法:旋转矩阵、欧拉角、四元数
    • 坐标系树:世界坐标系、机器人基座坐标系、末端坐标系、相机坐标系

    运动学【必学】

    • 正运动学:已知关节角度,求末端的位置和姿态
    • 逆运动学:已知末端的目标位置,求关节角度
    • 关节空间和笛卡尔空间
    • 雅可比矩阵【建议学】

    运动规划和控制【必学】

    • 路径规划算法:A*、RRT
    • 轨迹规划:让运动平滑、不超过速度和加速度限制
    • 碰撞检测
    • 基础控制方法:PID 控制、阻抗控制、模型预测控制(MPC)【建议学】

    传感器和标定【必学】

    • 相机:RGB 相机、深度相机(RGB-D)、相机的内参和外参
    • 手眼标定:确定相机和机械臂之间的位置关系
    • 其他传感器:IMU 惯性测量单元、力和力矩传感器、激光雷达

    嵌入式和硬件【工程岗可不学,硬件方向必学】

    • 单片机和嵌入式 Linux:STM32、实时操作系统
    • 电机驱动和舵机控制
    • 硬件通信:串口、CAN 总线、EtherCAT

    学习建议

    1)坐标变换是机器人学中最基础、也最容易出错的知识点。很多同学在做项目时遇到的 “机械臂抓偏了”“动作方向反了” 等问题,归根结底都是坐标系没搞清楚。建议学的时候多画图,把每个坐标系之间的关系都画出来。

    2)机器人学的理论推导比较多,如果你是软件开发背景,不用追求把每个公式都推导一遍,重点是理解概念、会调用工具库就行。比如逆运动学,实际工作中一般都是直接用 MoveIt 2 等现成的工具求解。

    3)可以配合开源项目 PythonRobotics 学习,里面用 Python 实现了大量经典的机器人算法,还配有动画演示,非常直观。

    学习资源

    • ⭐ PythonRobotics:用 Python 实现的经典机器人算法合集,配有直观的动画演示
    • ⭐ Datawhale 具身智能开源教程:系统介绍具身智能的基础知识、学习路径和就业岗位
    • 具身智能入门指南 Embodied-AI-Guide:社区整理的具身智能学习资料合集

    阶段 4:ROS 2 和机器人仿真(30 - 45 天,仅供参考)

    有了理论基础,接下来要学习机器人开发的标准工具链,在仿真环境中让机器人真正动起来。

    目标

    熟练使用 ROS 2 开发机器人软件,能够用 URDF 描述机器人模型,用 MoveIt 2 控制机械臂,并在 Gazebo、MuJoCo 或 Isaac Sim 中搭建仿真环境完成闭环任务。

    知识点

    ROS 2 核心【必学】

    • ROS 2 是什么:机器人开发的 “操作系统”,提供通信、工具和生态
    • 核心概念:节点(Node)、话题(Topic)、服务(Service)、动作(Action)、参数(Parameter)
    • TF2 坐标变换系统
    • Launch 文件和功能包管理
    • 常用工具:RViz2 可视化、rosbag 数据录制和回放
    • DDS 通信和 QoS 配置【建议学】

    机器人建模和控制【必学】

    • URDF 和 Xacro:用文件描述机器人的连杆、关节和传感器
    • ros2_control:统一的硬件控制接口
    • MoveIt 2:机械臂的运动规划、碰撞检测和轨迹执行
    • Nav2:移动机器人的导航框架【建议学】

    机器人仿真【必学】

    • Gazebo:和 ROS 2 集成最紧密的开源仿真器
    • MuJoCo:物理仿真精度高、速度快,在机器人学习研究中非常流行
    • Isaac Sim 和 Isaac Lab:NVIDIA 推出的高保真仿真平台,支持大规模并行仿真和合成数据【建议学】
    • 仿真中的物理参数:质量、摩擦、阻尼对结果的影响

    学习建议

    1)ROS 2 是机器人软件工程师的核心技能,几乎所有工程落地类的岗位都会要求。建议直接学习最新的 LTS 版本,不要再学已经停止维护的 ROS 1 了。学习时要多动手,先写几个简单的节点让它们互相通信,再逐步过渡到控制仿真中的机器人。

    2)仿真平台不用全学,选一个深入就行。如果你走工程落地方向,优先学 Gazebo,因为它和 ROS 2 的集成最好;如果你走机器人学习方向,优先学 MuJoCo 或者 Isaac Lab,因为它们在强化学习和模仿学习的研究中用得最多。

    3)这里推荐一个非常好的练手项目,就是在仿真中搭建一个机械臂,用 MoveIt 2 规划路径,用摄像头识别桌面上的物体,完成一次完整的 “识别、规划、抓取、放置” 闭环。这个项目能把 ROS 2、坐标变换、视觉和运动规划的知识全部串起来。

    经典面试题

    1. ROS 2 中的话题、服务和动作有什么区别?分别适合什么场景?
    2. ROS 2 和 ROS 1 相比有哪些改进?
    3. TF2 的作用是什么?如何排查坐标变换出错的问题?
    4. 如何用 MoveIt 2 控制机械臂避开障碍物?
    5. 仿真中训练好的策略部署到真机上效果变差了,可能的原因有哪些?

    学习资源

    • ⭐ 黑马程序员 ROS 2 零代码到全栈:课程教你用大模型对话式开发工业机械臂,打通视觉、规划、控制的全链路
    • ⭐ ROS 2 官方文档:最权威的 ROS 2 学习资料,包含大量入门教程
    • MoveIt 2 官方文档:机械臂运动规划的标准工具
    • MuJoCo:DeepMind 维护的高性能物理仿真引擎
    • Isaac Lab:NVIDIA 开源的机器人学习框架,支持大规模并行仿真
    • NVIDIA Isaac Sim 和 Isaac Lab 完整教程:中文配音的系列教程

    阶段 5:机器人学习(30 - 45 天,仅供参考)

    在仿真中能让机器人动起来之后,下一步就是让它 “学会” 新的技能,而不是每个动作都靠手写代码。

    目标

    掌握模仿学习和强化学习的核心方法,能够使用 LeRobot 完成 “遥操作采集数据、训练策略、评测和部署” 的完整流程,理解数据对机器人学习的决定性作用。

    知识点

    模仿学习【必学】

    • 行为克隆(Behavior Cloning):让机器人模仿人类的示范动作
    • ACT(Action Chunking with Transformers):一次预测一段动作序列,动作更平滑
    • Diffusion Policy:用扩散模型生成动作,能处理多种可能的解法
    • 遥操作数据采集:主从臂、VR 设备、手机、游戏手柄

    强化学习【必学】

    • 强化学习的基本概念:状态、动作、奖励、策略、价值函数
    • 经典算法:DQN、PPO、SAC
    • 运动控制中的强化学习:让四足和人形机器人在仿真中学会行走
    • Sim2Real:域随机化、系统辨识,缩小仿真和现实之间的差距

    机器人数据【必学】

    • 数据格式:观测(图像、关节状态)、语言指令、动作、时间戳
    • 数据质量:示范的一致性、时间同步、异常数据过滤
    • 开源数据集:Open X-Embodiment、DROID、LIBERO 等
    • LeRobot 数据集格式和可视化工具

    学习建议

    1)LeRobot 是目前入门机器人学习最友好的工具。它把遥操作、数据录制、模型训练、仿真评测和真机部署都统一在了一个框架里,内置了 ACT、Diffusion Policy、π0.5、SmolVLA、GR00T 等主流策略模型。即使没有机器人硬件,你也可以先在免费的 Notebook 和仿真环境中,用社区共享的数据集训练模型。

    用 LeRobot 做一个模仿学习项目,大致要经历下面这四步,先由人遥操作机械臂示范动作,同时录制数据,再用这些数据训练策略,最后部署到真机上验证效果。

    LeRobot 模仿学习的四步流程图,依次是遥操作、录制数据、训练策略和部署真机。

    2)如果预算允许,非常推荐购买一套 SO-101 机械臂。一套主从臂的硬件成本只要一两千元,社区资料非常丰富,按照官方教程,大约录制 50 次示范动作就能训练出一个能完成简单抓取任务的策略。亲眼看到自己训练的模型控制机械臂完成任务,那种成就感是看多少视频都替代不了的。

    3)在具身智能领域,数据质量往往比模型结构更重要。很多时候模型效果不好,并不是模型本身的问题,而是示范数据不一致、相机位置变了、时间戳没有对齐。所以要养成仔细检查和可视化数据的习惯。

    4)强化学习部分,可以从 Isaac Lab 或宇树开源的 unitree_rl_gym 入手,在仿真中训练一个四足机器人行走的策略,直观地体会奖励函数设计和 Sim2Real 的挑战。

    经典面试题

    1. 模仿学习和强化学习有什么区别?各自适合什么场景?
    2. ACT 中的 “动作分块” 解决了什么问题?
    3. Diffusion Policy 为什么适合机器人的动作生成?
    4. 什么是 Sim2Real?缩小仿真和现实差距的常用方法有哪些?
    5. 如何评估机器人策略的泛化能力?

    学习资源

    • ⭐ LeRobot:Hugging Face 推出的开源机器人学习框架,入门首选
    • ⭐ LeRobot 机器人学习教程:Hugging Face 官方的免费机器人学习教程
    • LeRobot 官方文档:安装、数据采集、训练和部署的完整指南
    • Seeed SO-ARM 机械臂 LeRobot 上手教程:硬件厂商出品的保姆级上手视频
    • LeRobot 训练 SO-101 机械臂 ACT 模型全流程:完整演示从数据采集到模型部署的过程
    • ACT 官方实现:Action Chunking with Transformers
    • Diffusion Policy 官方实现:用扩散模型生成机器人动作
    • unitree_rl_gym:宇树科技开源的机器人强化学习训练框架

    阶段 6:VLA 大模型(30 - 45 天,仅供参考)

    传统的机器人学习方法往往只能完成单一的任务,而 VLA 大模型希望让机器人像人一样,听懂指令、举一反三。

    我画了一张图来展示 VLA 模型的基本结构。它把摄像头画面、语言指令和机器人当前的状态一起输入,经过视觉编码器、语言模型和动作输出头,直接输出一串可以执行的动作。

    VLA 模型输入输出示意图,摄像头画面、语言指令和机器人状态输入 VLA 模型,经过视觉编码器、语言模型和动作输出头后输出动作序列。

    目标

    理解 VLA 模型的架构和训练方法,能够在自己的任务和数据上微调开源 VLA 模型,并在仿真环境中完成系统的评测。

    知识点

    VLA 基础【必学】

    • 什么是 VLA:把视觉、语言和动作统一到一个模型中
    • VLA 的基本架构:视觉编码器、语言模型基座、动作输出头
    • 动作的表示方法:离散的动作 Token、连续动作、基于扩散或流匹配生成动作
    • 跨本体训练:让一个模型适配不同形态的机器人

    代表性模型【必学】

    • RT-2:最早把大模型用于机器人控制的代表性工作之一
    • OpenVLA:开源的 VLA 模型,适合入门学习
    • π0 和 π0.5:Physical Intelligence 推出的模型,具有较强的开放世界泛化能力
    • GR00T:NVIDIA 推出的人形机器人基础模型
    • RDT:清华大学团队推出的双臂操作扩散模型

    训练和评测【必学】

    • 预训练、微调、LoRA 高效微调
    • 分布式训练:FSDP、DeepSpeed 等多卡训练工具,以及显存和吞吐的估算
    • 自定义任务的数据格式转换
    • 评测基准:LIBERO 等仿真评测环境
    • 泛化能力测试:新物体、新背景、新指令

    大模型驱动的具身 Agent【建议学】

    • 大模型作为机器人的 “大脑”:用大语言模型理解指令、拆解任务,再调用底层技能执行
    • 技能封装:把导航、识别、抓取等机器人能力封装成 MCP 工具或 Agent Skills,供大模型调度
    • 语音交互:用 Whisper 等模型做语音识别,用 TTS 做语音合成,实现语音控制机器人
    • 记忆和长时程任务:让机器人记住环境和用户偏好,完成多步骤的复杂任务

    前沿方向【可不学】

    • 世界模型:让机器人在 “脑海中” 预测动作的后果
    • VLA 的强化学习后训练
    • 灵巧手操作和人形机器人全身运动控制

    学习建议

    1)VLA 是具身智能领域最前沿、也最热门的方向,相关岗位的薪资普遍较高,但对候选人的要求也很高。建议深入理解一到两个代表性模型,能讲清楚它们的输入输出、动作空间、训练目标和推理流程,比泛泛地了解十个模型更有用。

    2)入门 VLA 最好的方式,是用 LeRobot 或者 openpi 在 LIBERO 仿真环境中跑通一次 π0.5 的微调和评测,然后再尝试把它迁移到你自己的任务上,比较冻结基座、部分微调和全量微调的效果差异,并记录成功率、延迟和失败案例。

    3)VLA 的训练对算力要求较高,你可以在云平台上租用 GPU 完成实验。微调时可以使用 LoRA 等参数高效微调方法,大幅降低显存需求。

    4)除了端到端的 VLA,“大模型加技能库” 也是目前落地最快的一条路线。黑马的 ROS 2 机械臂课程就安排了用 MCP 驱动机械臂、语音大模型对话控制等内容,深蓝学院的人形机器人实战课程也是基于 OpenClaw 把宇树 G1 的导航、识别、抓取能力封装成 Skills,再交给大模型调度。如果你之前学过 AI Agent 开发,这会是你切入具身智能最快的方式。

    经典面试题

    1. VLA 模型和传统的机器人控制方法有什么区别?
    2. VLA 中常见的动作表示方法有哪些?各有什么优缺点?
    3. π0 系列模型是如何生成动作的?
    4. 如何评估一个 VLA 模型的泛化能力?
    5. 在真实机器人上部署 VLA 模型时,推理延迟过高怎么办?

    学习资源

    • ⭐ openpi:Physical Intelligence 开源的 π0 和 π0.5 模型
    • ⭐ 一口气看懂 VLA:90 分钟系统梳理 VLA 的发展和主流模型
    • OpenVLA:开源 VLA 模型,代码清晰,适合入门
    • Isaac GR00T:NVIDIA 开源的人形机器人基础模型
    • RDT 机器人扩散 Transformer:清华大学开源的双臂操作模型
    • LIBERO:机器人终身学习和 VLA 评测的常用基准
    • Open X-Embodiment:跨本体的大规模机器人数据集

    阶段 7:部署和 Sim2Real(20 - 30 天,仅供参考)

    无论在仿真中表现得多好,最终都要让机器人在真实世界里稳定可靠地工作。

    目标

    能够把训练好的模型部署到真实机器人的边缘计算设备上,解决实时性、延迟和安全等工程问题,并建立 “真机数据采集、失败分析、再训练” 的数据闭环。

    知识点

    边缘部署【必学】

    • 边缘计算平台:NVIDIA Jetson 系列等
    • 模型优化:ONNX 格式转换、TensorRT 加速、量化
    • 实时性保障:控制频率、端到端延迟、多线程调度

    系统集成【必学】

    • 把模型推理的输出转换成机器人的控制指令
    • 多传感器的接入和时间同步
    • 日志、轨迹回放和异常排查

    安全机制【必学】

    • 速度和力的限幅
    • 工作空间限制和碰撞检测
    • 紧急停止机制

    数据闭环【建议学】

    • 真机失败案例的收集和分析
    • 有针对性地补充数据并重新训练
    • 持续评测和版本管理

    学习建议

    1)仿真和现实之间永远存在差距,这就是所谓的 Sim2Real Gap。光照、摩擦力、相机的微小位移、电机的响应延迟,都可能让在仿真中表现完美的策略在真机上频频失败。所以部署阶段最重要的能力,是耐心地定位问题,判断失败到底是出在数据、模型、标定还是控制上。

    2)安全永远是第一位的。真实的机器人可能会伤人或者损坏设备,所以在部署任何新模型之前,一定要先设置好速度限幅、工作空间限制和紧急停止机制,并且在低速模式下充分测试。

    3)NVIDIA 的 Physical AI 学习平台提供了一系列从仿真到真机的完整课程,比如用 SO-101 机械臂完成 Sim2Real 的全流程,非常适合在这个阶段学习。

    学习资源

    • ⭐ NVIDIA Physical AI 学习平台:从仿真到真机部署的系列实战课程
    • 黑马程序员零基础具身智能机械臂实战项目:内容涵盖 OpenCV、YOLO、DeepSeek,带你从机械臂硬件、核心算法到 AI 完整落地
    • LeRobot 官方文档:包含真机部署和评测的详细指南

    阶段 8:项目实战和求职准备

    最后,我们用几个完整的闭环项目把前面学到的知识串起来,为求职做好准备。

    项目建议

    具身智能方向的求职,非常看重 “完整闭环” 的项目经验。下面这几个项目由浅入深,可以根据自己的方向选择。

    1)ROS 2 机械臂抓取仿真。在 Gazebo 或 Isaac Sim 中搭建机械臂和桌面场景,用 YOLO 识别物体,用 MoveIt 2 规划路径,完成 “识别、规划、抓取、放置” 的闭环任务。这个项目非常贴近机器人软件工程师的实际工作。

    2)大模型驱动的机器人。用大语言模型理解用户的自然语言指令,把任务拆解成一系列子步骤,再调用机器人的底层技能逐一执行。比如用户说 “帮我收拾桌子”,大模型规划出 “识别杂物、逐个抓取、放入收纳盒” 的步骤。这个项目能把 AI 应用开发和机器人技术结合起来,如果你之前学过 Agent 开发,会非常有优势。

    3)LeRobot 模仿学习全流程。用 SO-101 机械臂或者仿真环境,完成遥操作数据采集、ACT 或 Diffusion Policy 训练、评测和部署的完整流程,再故意引入一些干扰(比如移动相机、更换物体),分析策略的失败原因并改进。

    4)VLA 微调和评测。在 LIBERO 等仿真基准上微调 π0.5 或 OpenVLA,设计跨物体、跨背景、跨指令的泛化测试,输出一份完整的实验报告。

    5)强化学习运动控制。在 Isaac Lab 中训练一个四足机器人或人形机器人行走的策略,尝试不同的奖励函数设计,并使用域随机化提升策略的鲁棒性。

    求职建议

    1)投递之前,一定要仔细阅读岗位的职责描述,弄清楚它负责哪类机器人和任务、交付什么结果、能不能接触真机。同样叫 “具身智能工程师”,有的岗位偏算法研发,有的偏工程部署,有的偏数据,要求完全不同。

    2)简历上的项目要突出 “闭环” 和 “数据”。比如 “在 SO-101 机械臂上完成了从数据采集到真机部署的完整流程,通过数据清洗和动作归一化,将抓取成功率从 45% 提升到 82%”。具体写法可以参考 鱼皮的保姆级写简历指南。

    3)面试准备方面,算法岗要深入理解一到两个代表性模型,能讲清楚架构、训练目标和真机失败的原因;工程岗要准备好 ROS 2、C++、Linux 和系统集成相关的问题,最好能讲一个你定位和解决复杂软硬件联调问题的案例。计算机基础和 AI 基础的八股文,可以在 面试鸭 上系统刷一遍。

    学习资源

    • ⭐ Datawhale 具身智能开源教程 - 就业岗位:详细介绍了具身智能各个岗位的职责、技术栈和面试准备方法
    • 面试鸭:系统刷计算机基础和 AI 面试题
    • 面多多 AI 模拟面试:针对目标岗位定制面试题,提前熟悉面试节奏
    • 鱼皮的保姆级求职指南:求职全流程攻略

    尾声

    具身智能被很多人认为是 AI 的 “下一个十年”。大模型让 AI 学会了思考和表达,而具身智能要让 AI 真正走进物理世界,帮助人类完成各种实实在在的工作。

    当然,这个领域现在还处在快速发展的早期阶段,很多技术路线还没有定型,产业也还面临着成本、可靠性和规模化等挑战。但这也意味着,现在入局的人有机会伴随整个行业一起成长。

    学习具身智能的过程可能会比较辛苦,你会遇到环境配不好、坐标系搞不清、模型在真机上不听话等各种问题。但当你第一次看到自己训练的机器人稳稳地抓起一个杯子时,一定会觉得所有的付出都是值得的。

    加油,祝大家都能在具身智能的浪潮中找到属于自己的位置!

    程序员必备资源

    1)程序员学习交流圈:极客教程、实战项目、求职宝典

    2)程序员面试八股文:实习/校招/社招高频考点、企业真题解析

    3)程序员写简历神器:专业模板、丰富例句、直通面试

    4)AI 知识资源大全:前沿技术、最新 AI 资讯、提示词大全

    5)1 对 1 模拟面试:实习/校招/社招面试拿 Offer 必备