编程导航学习网站:学编程、做项目、拿 Offer!
企业高频面试题库:开始刷题,面试遇原题!
精选简历模板大全:1 分钟搞定简历!
AI 资源导航网站:获取最新 AI 黑科技!
1 对 1 模拟面试:随时随地提升面试能力
⭐️ 推荐先观看 鱼皮的保姆级 AI 指南视频,快速掌握程序员必知必会的 AI 概念、AI 工具、AI 开发技术、AI 编程技巧。
这两年,你一定刷到过各种机器人的视频,有的人形机器人在春晚舞台上扭秧歌,有的机械臂能叠衣服、做早餐,还有的机器狗能在山路上奔跑跳跃。这些机器人背后的技术,就是当下最火热的方向之一,具身智能(Embodied AI)。
简单来说,具身智能就是 让 AI 拥有一个 “身体”。之前的大模型只能在屏幕里聊天、写代码、画图,而具身智能要让 AI 走进物理世界,能看到周围的环境、理解人类的指令,并且通过机械臂、灵巧手、双足或者轮子真正动手完成任务。它是 “感知、决策、行动” 三者的结合。
比如你对机器人说 “把红色杯子放进水槽”,它要先用摄像头看清桌面,再规划怎么抓、往哪放,最后控制机械臂动手完成,三个环节循环往复,直到任务结束。

为什么具身智能会在这两年突然爆发呢?一个很重要的原因是大模型带来的技术范式转变。过去的机器人大多只能在工厂里按照预先编写好的程序重复同一个动作,换个场景就要重新编程。而现在,研究者把大模型的视觉理解和语言理解能力,跟机器人的动作控制结合到了一起,形成了 VLA(Vision-Language-Action,视觉 - 语言 - 动作)模型。你只需要用自然语言告诉机器人 “把桌上的红色杯子放进水槽”,它就能自己看懂场景、规划动作并执行。Physical Intelligence 的 π0.5、NVIDIA 的 GR00T 等开源模型,更是让普通开发者也能在自己的机械臂上跑起前沿的 VLA 模型。
同时,学习具身智能的门槛也在快速降低。Hugging Face 推出的 LeRobot 开源框架,配合一套硬件成本只要一两千元、可以 3D 打印组装的 SO-101 机械臂,让你在自己家里就能完成 “遥操作采集数据、训练模型、部署到真机” 的完整流程。
人才市场同样非常火热。脉脉的人才报告显示,在求职者中,有 17.4% 的人最想去具身智能或智能硬件企业,宇树科技也成了求职者最关注的公司之一。
不过我要提前说明一下,具身智能是一个横跨 AI、机器人学、控制、硬件的交叉学科,要学的东西确实不少。好消息是,你不需要把所有东西都学完,根据自己的背景选准一个方向深入就够了。
▼mermaid复制代码graph LR A[编程和数学基础] --> B[AI 和深度学习基础] A --> C[机器人学基础] B --> E[机器人学习] C --> D[ROS 2 和仿真] D --> E E --> F[VLA 大模型] F --> G[部署和 Sim2Real] G --> H[项目实战和求职]
每个阶段要掌握的知识点,可以看下面这张完整的思维导图:

具身智能的岗位可以大致分为算法研发和工程落地两大类,下面是几个常见的方向。
对于有编程基础、想从软件开发转型的同学,机器人软件和部署工程师是最容易切入的方向;如果你是在校生、数学和 AI 基础比较好,可以冲击算法研发岗。
1)先选方向,再定路线。具身智能涉及的知识太广了,如果什么都想学,很容易陷入 “学了很多却什么都不精” 的困境。建议你先根据自己的背景确定一个大方向。如果你是软件开发背景,重点学 ROS 2、仿真和部署;如果你的 AI 基础比较好,重点学深度学习、模仿学习和 VLA;如果你是机械、自动化等工科背景,可以发挥自己在机器人学和控制方面的优势。
2)仿真先行,真机验证。机器人硬件既贵又容易损坏,所以大部分学习和实验都可以先在仿真环境里完成。等你在仿真里把算法跑通了,再考虑购买一台入门级的机械臂(比如 SO-101)做真机验证。
3)实践比论文更重要。企业看重的是你解决过什么问题、能不能把系统真正跑起来,而不是你读了多少篇论文。一个完整的 “数据采集、模型训练、仿真评测、真机部署、失败分析” 闭环项目,比读一百篇论文都有说服力。
4)善用 AI 编程工具。机器人开发中有大量繁琐的配置和调试工作,比如写 URDF 文件、配置 ROS 2 的 Launch 文件、排查坐标系问题等,这些都可以让 AI 编程工具帮你快速完成。如果你还不熟悉 AI 编程,可以先看我免费开源的 《Vibe Coding 零基础入门教程》。
⏰ 对于有一定编程基础的同学,走完工程落地方向的主线大约需要 4 到 6 个月;如果要走算法研发方向,还需要额外投入更多时间深入学习深度学习和机器人学习(仅供参考)。
具身智能横跨软件和硬件,无论你最终走哪个方向,编程和数学都是绕不开的基础。
熟练掌握 Python 和 C++ 编程,能在 Linux 环境下独立开发和调试程序,并具备理解机器人学和深度学习所需的数学基础。
编程语言【必学】
开发环境【必学】
数学基础【必学】
1)Python 和 C++ 都要学,但侧重点不同。Python 主要用来做 AI 相关的工作,C++ 主要用来做底层控制和高性能部署。如果时间紧张,可以先把 Python 学扎实,C++ 能看懂代码、写出基本的 ROS 2 节点即可,后面再逐步深入。
2)数学不需要学到能做研究的程度,但线性代数一定要过关。机器人学中大量的坐标变换和姿态表示,本质上都是矩阵运算,线性代数不扎实,后面学习会非常吃力。
机器人要 “看懂” 世界、“听懂” 指令,靠的是 AI 模型。所以接下来要补充深度学习和计算机视觉的基础。
掌握机器学习和深度学习的核心知识,熟练使用 PyTorch 训练模型,理解 Transformer、视觉模型和多模态模型的基本原理。
深度学习基础【必学】
视觉和多模态模型【必学】
生成模型【建议学】
1)这个阶段的深度学习知识和其他 AI 方向基本一致,可以参考 深度学习学习路线 和 计算机视觉学习路线 系统学习。
2)对于具身智能来说,视觉能力尤其重要,因为机器人主要是通过摄像头来感知世界的。建议至少动手做一个目标检测的小项目,比如用 YOLO 识别桌面上的物体,并输出它们的位置,后面可以直接用在机械臂抓取的项目里。
3)扩散模型和流匹配看起来是图像生成领域的技术,但它们在机器人领域也非常重要。Diffusion Policy 和 π0 系列模型都用它们来生成平滑、多样的动作序列,如果想走算法方向,一定要理解它们的原理。
AI 模型相当于机器人的 “大脑”,而机器人的 “身体” 怎么运动,就要靠机器人学的知识来描述了。
理解机器人运动的数学描述,掌握坐标变换、运动学、运动规划和基础控制的原理,了解常见的机器人传感器和标定方法。
坐标变换和姿态表示【必学】
运动学【必学】
运动规划和控制【必学】
传感器和标定【必学】
嵌入式和硬件【工程岗可不学,硬件方向必学】
1)坐标变换是机器人学中最基础、也最容易出错的知识点。很多同学在做项目时遇到的 “机械臂抓偏了”“动作方向反了” 等问题,归根结底都是坐标系没搞清楚。建议学的时候多画图,把每个坐标系之间的关系都画出来。
2)机器人学的理论推导比较多,如果你是软件开发背景,不用追求把每个公式都推导一遍,重点是理解概念、会调用工具库就行。比如逆运动学,实际工作中一般都是直接用 MoveIt 2 等现成的工具求解。
3)可以配合开源项目 PythonRobotics 学习,里面用 Python 实现了大量经典的机器人算法,还配有动画演示,非常直观。
有了理论基础,接下来要学习机器人开发的标准工具链,在仿真环境中让机器人真正动起来。
熟练使用 ROS 2 开发机器人软件,能够用 URDF 描述机器人模型,用 MoveIt 2 控制机械臂,并在 Gazebo、MuJoCo 或 Isaac Sim 中搭建仿真环境完成闭环任务。
ROS 2 核心【必学】
机器人建模和控制【必学】
机器人仿真【必学】
1)ROS 2 是机器人软件工程师的核心技能,几乎所有工程落地类的岗位都会要求。建议直接学习最新的 LTS 版本,不要再学已经停止维护的 ROS 1 了。学习时要多动手,先写几个简单的节点让它们互相通信,再逐步过渡到控制仿真中的机器人。
2)仿真平台不用全学,选一个深入就行。如果你走工程落地方向,优先学 Gazebo,因为它和 ROS 2 的集成最好;如果你走机器人学习方向,优先学 MuJoCo 或者 Isaac Lab,因为它们在强化学习和模仿学习的研究中用得最多。
3)这里推荐一个非常好的练手项目,就是在仿真中搭建一个机械臂,用 MoveIt 2 规划路径,用摄像头识别桌面上的物体,完成一次完整的 “识别、规划、抓取、放置” 闭环。这个项目能把 ROS 2、坐标变换、视觉和运动规划的知识全部串起来。
在仿真中能让机器人动起来之后,下一步就是让它 “学会” 新的技能,而不是每个动作都靠手写代码。
掌握模仿学习和强化学习的核心方法,能够使用 LeRobot 完成 “遥操作采集数据、训练策略、评测和部署” 的完整流程,理解数据对机器人学习的决定性作用。
模仿学习【必学】
强化学习【必学】
机器人数据【必学】
1)LeRobot 是目前入门机器人学习最友好的工具。它把遥操作、数据录制、模型训练、仿真评测和真机部署都统一在了一个框架里,内置了 ACT、Diffusion Policy、π0.5、SmolVLA、GR00T 等主流策略模型。即使没有机器人硬件,你也可以先在免费的 Notebook 和仿真环境中,用社区共享的数据集训练模型。
用 LeRobot 做一个模仿学习项目,大致要经历下面这四步,先由人遥操作机械臂示范动作,同时录制数据,再用这些数据训练策略,最后部署到真机上验证效果。

2)如果预算允许,非常推荐购买一套 SO-101 机械臂。一套主从臂的硬件成本只要一两千元,社区资料非常丰富,按照官方教程,大约录制 50 次示范动作就能训练出一个能完成简单抓取任务的策略。亲眼看到自己训练的模型控制机械臂完成任务,那种成就感是看多少视频都替代不了的。
3)在具身智能领域,数据质量往往比模型结构更重要。很多时候模型效果不好,并不是模型本身的问题,而是示范数据不一致、相机位置变了、时间戳没有对齐。所以要养成仔细检查和可视化数据的习惯。
4)强化学习部分,可以从 Isaac Lab 或宇树开源的 unitree_rl_gym 入手,在仿真中训练一个四足机器人行走的策略,直观地体会奖励函数设计和 Sim2Real 的挑战。
传统的机器人学习方法往往只能完成单一的任务,而 VLA 大模型希望让机器人像人一样,听懂指令、举一反三。
我画了一张图来展示 VLA 模型的基本结构。它把摄像头画面、语言指令和机器人当前的状态一起输入,经过视觉编码器、语言模型和动作输出头,直接输出一串可以执行的动作。

理解 VLA 模型的架构和训练方法,能够在自己的任务和数据上微调开源 VLA 模型,并在仿真环境中完成系统的评测。
VLA 基础【必学】
代表性模型【必学】
训练和评测【必学】
大模型驱动的具身 Agent【建议学】
前沿方向【可不学】
1)VLA 是具身智能领域最前沿、也最热门的方向,相关岗位的薪资普遍较高,但对候选人的要求也很高。建议深入理解一到两个代表性模型,能讲清楚它们的输入输出、动作空间、训练目标和推理流程,比泛泛地了解十个模型更有用。
2)入门 VLA 最好的方式,是用 LeRobot 或者 openpi 在 LIBERO 仿真环境中跑通一次 π0.5 的微调和评测,然后再尝试把它迁移到你自己的任务上,比较冻结基座、部分微调和全量微调的效果差异,并记录成功率、延迟和失败案例。
3)VLA 的训练对算力要求较高,你可以在云平台上租用 GPU 完成实验。微调时可以使用 LoRA 等参数高效微调方法,大幅降低显存需求。
4)除了端到端的 VLA,“大模型加技能库” 也是目前落地最快的一条路线。黑马的 ROS 2 机械臂课程就安排了用 MCP 驱动机械臂、语音大模型对话控制等内容,深蓝学院的人形机器人实战课程也是基于 OpenClaw 把宇树 G1 的导航、识别、抓取能力封装成 Skills,再交给大模型调度。如果你之前学过 AI Agent 开发,这会是你切入具身智能最快的方式。
无论在仿真中表现得多好,最终都要让机器人在真实世界里稳定可靠地工作。
能够把训练好的模型部署到真实机器人的边缘计算设备上,解决实时性、延迟和安全等工程问题,并建立 “真机数据采集、失败分析、再训练” 的数据闭环。
边缘部署【必学】
系统集成【必学】
安全机制【必学】
数据闭环【建议学】
1)仿真和现实之间永远存在差距,这就是所谓的 Sim2Real Gap。光照、摩擦力、相机的微小位移、电机的响应延迟,都可能让在仿真中表现完美的策略在真机上频频失败。所以部署阶段最重要的能力,是耐心地定位问题,判断失败到底是出在数据、模型、标定还是控制上。
2)安全永远是第一位的。真实的机器人可能会伤人或者损坏设备,所以在部署任何新模型之前,一定要先设置好速度限幅、工作空间限制和紧急停止机制,并且在低速模式下充分测试。
3)NVIDIA 的 Physical AI 学习平台提供了一系列从仿真到真机的完整课程,比如用 SO-101 机械臂完成 Sim2Real 的全流程,非常适合在这个阶段学习。
最后,我们用几个完整的闭环项目把前面学到的知识串起来,为求职做好准备。
具身智能方向的求职,非常看重 “完整闭环” 的项目经验。下面这几个项目由浅入深,可以根据自己的方向选择。
1)ROS 2 机械臂抓取仿真。在 Gazebo 或 Isaac Sim 中搭建机械臂和桌面场景,用 YOLO 识别物体,用 MoveIt 2 规划路径,完成 “识别、规划、抓取、放置” 的闭环任务。这个项目非常贴近机器人软件工程师的实际工作。
2)大模型驱动的机器人。用大语言模型理解用户的自然语言指令,把任务拆解成一系列子步骤,再调用机器人的底层技能逐一执行。比如用户说 “帮我收拾桌子”,大模型规划出 “识别杂物、逐个抓取、放入收纳盒” 的步骤。这个项目能把 AI 应用开发和机器人技术结合起来,如果你之前学过 Agent 开发,会非常有优势。
3)LeRobot 模仿学习全流程。用 SO-101 机械臂或者仿真环境,完成遥操作数据采集、ACT 或 Diffusion Policy 训练、评测和部署的完整流程,再故意引入一些干扰(比如移动相机、更换物体),分析策略的失败原因并改进。
4)VLA 微调和评测。在 LIBERO 等仿真基准上微调 π0.5 或 OpenVLA,设计跨物体、跨背景、跨指令的泛化测试,输出一份完整的实验报告。
5)强化学习运动控制。在 Isaac Lab 中训练一个四足机器人或人形机器人行走的策略,尝试不同的奖励函数设计,并使用域随机化提升策略的鲁棒性。
1)投递之前,一定要仔细阅读岗位的职责描述,弄清楚它负责哪类机器人和任务、交付什么结果、能不能接触真机。同样叫 “具身智能工程师”,有的岗位偏算法研发,有的偏工程部署,有的偏数据,要求完全不同。
2)简历上的项目要突出 “闭环” 和 “数据”。比如 “在 SO-101 机械臂上完成了从数据采集到真机部署的完整流程,通过数据清洗和动作归一化,将抓取成功率从 45% 提升到 82%”。具体写法可以参考 鱼皮的保姆级写简历指南。
3)面试准备方面,算法岗要深入理解一到两个代表性模型,能讲清楚架构、训练目标和真机失败的原因;工程岗要准备好 ROS 2、C++、Linux 和系统集成相关的问题,最好能讲一个你定位和解决复杂软硬件联调问题的案例。计算机基础和 AI 基础的八股文,可以在 面试鸭 上系统刷一遍。
具身智能被很多人认为是 AI 的 “下一个十年”。大模型让 AI 学会了思考和表达,而具身智能要让 AI 真正走进物理世界,帮助人类完成各种实实在在的工作。
当然,这个领域现在还处在快速发展的早期阶段,很多技术路线还没有定型,产业也还面临着成本、可靠性和规模化等挑战。但这也意味着,现在入局的人有机会伴随整个行业一起成长。
学习具身智能的过程可能会比较辛苦,你会遇到环境配不好、坐标系搞不清、模型在真机上不听话等各种问题。但当你第一次看到自己训练的机器人稳稳地抓起一个杯子时,一定会觉得所有的付出都是值得的。
加油,祝大家都能在具身智能的浪潮中找到属于自己的位置!

1)程序员学习交流圈:极客教程、实战项目、求职宝典
2)程序员面试八股文:实习/校招/社招高频考点、企业真题解析
3)程序员写简历神器:专业模板、丰富例句、直通面试
4)AI 知识资源大全:前沿技术、最新 AI 资讯、提示词大全
5)1 对 1 模拟面试:实习/校招/社招面试拿 Offer 必备