具身智能从原理到真机实战- 极客时间课程推荐/优惠

具身智能从原理到真机实战--极客时间课程推荐/优惠

带你搭建自然语言驱动的具身 Agent 系统
Leo某大厂 AI 大模型应用负责人
专栏 | 25讲 | 905人已学习
优惠价¥59原价:99
官网优惠购买
版权声明

本站非极客时间官网,与官方无任何关系。我们不提供课程下载或详细内容,仅作为课程分享和推荐平台。我们鼓励大家支持正版,尊重创作者的劳动成果,这样不仅能帮助创作者持续产出优质内容,也能让自己获得更好的学习体验。请通过官方渠道购买和学习课程,感谢您的理解与支持。

课程详情

你将获得:

  • 基础:让 Agent 开发经验无缝迁移到具身智能
  • 成本:无需昂贵 GPU,低成本机械臂跑通实操
  • 路径:打通从数据采集到真机成功率的完整闭环
  • 成果:产出可演示、可测评、可迭代的真机作品

课程介绍

Agent 正在从屏幕走向物理世界,能自主完成任务、会调用工具的它,下一步要实现的是:如何看见世界、理解环境,并真正完成一系列动作?

对有 Agent 开发经验的工程师来说,这不是从零开始,而是带着工程方法论「降维」进入一个紧缺工程师的领域——具身智能。

从“模型能训练”到“机器人能稳定完成任务”,要补哪些知识、留下哪些证据,怎样排查失败,这个过程中存在一条高效的能力迁移路径,这门课分享的就是这条路径。

课程设计:

课程由五个模块组成,始终围绕同一条主线推进。

原理底座篇先回答“为什么”。你会用 MDP 看懂感知、决策和执行,分清模仿学习、强化学习与 VLA 的边界,再沿着协变量偏移理解单帧 BC 为什么一进闭环就容易崩,以及 ACT、Diffusion、Flow Matching 三类动作头分别在解决什么问题。

数据平台篇处理最容易被低估的一层。你会从一帧数据出发,读懂 LeRobot Dataset v3 的 Parquet、MP4、metadata 和 stats,随后把采集纪律、质检、加工、打标、轨迹还原与失败补采接成数据飞轮。你不只会“录数据”,还会判断一批数据为什么值得训练。

LeRobot 框架实践篇进入模型。先沿数据流和 processor 合同排查真机乱动,再建立 ACT 基线。随后再做 Diffusion 的公平对照和 SmolVLA 的参数高效微调,判断什么时候该换模型,什么时候应先修数据和执行链路。

真机机械臂篇把策略接到 SO-101。从电机、总线、标定和相机建立硬件心智模型,依次通过连通、安全、小步运动、遥操作、采集、回放、训练和评测。这里不会把真机当作最后一讲的彩蛋,安装、校准、遥操作和失败诊断本身就是主线。

工程交付篇把前面的能力组装起来。大模型提出计划,技能层限定任务范围,ACT 或 VLA 生成连续动作,再逐项接入限幅、停止、接管和运行记录。最终交付一份可用于面试求职的具身 Agent 作品集。

课程提供配套仓库:https://github.com/qingxunwz-cmyk/lerobot-data-lab

我们目前身处机器人开发窗口期,期待与你一起投身具身智能浪潮,共同参与这一前沿领域的成长与突破!

课程目录(更新中)

开篇词

  • 开篇词|打通原理、数据、框架、真机四条线,让具身智能从论文回到桌面臂

原理底座篇

  • 01|全景:具身智能技术栈地图,你在哪、缺什么、能去哪?
  • 02|认知:什么是具身智能,和普通 AI Agent 差在哪?
  • 03|三大范式:模仿学习/强化学习/VLA,该选哪个?
  • 04|动作分块与及时纠偏:训练时看着会做,真机为什么越走越偏?
  • 05|不同的动作生成方法:两条路线都正确,真机该怎样选?

数据平台篇

  • 06|起点:一帧机器人数据长什么样?
  • 07|LeRobot Dataset v3.0 标准:为什么要学数据格式?
  • 08|从任务安排到现场检查:怎样采集有用的示范?
  • 09|采集完的数据,怎样整理交给训练?
  • 10|模型总在同一个地方失败,下一批示范该补什么?

LeRobot 框架实践篇

  • 11|LeRobot 真机部署的第一排查清单:模型一上真机就乱动怎么办?
  • 12|先用 ACT 建立基线:从小批量训练检查到真机评测
  • 13|一次公平的对照实验:ACT 已经能用,为什么还要试 Diffusion Policy?
  • 14|SmolVLA 预训练 + LoRA 微调:怎样让已有模型适应自己的任务?
  • 15|实验设计与自动评测:如何科学判断策略真的变好了?

真机机械臂篇

  • 16|LeRobot 硬件控制过程:策略输出怎样变成电机动作?
  • 17|连接、标定与试动:SO-101 真机运行前的准备工作

作者介绍

16 年软件工程经验,目前在国内头部互联网大厂负责大模型核心项目。曾先后主导金融大模型、AI Coding 平台和保险智能体等多个企业级产品的 0 到 1 落地——从多智能体协同架构、复杂任务的规划与编排,到多模态大模型从数据构建、微调到生产部署的端到端闭环,完整跑通过大模型应用从架构设计到规模化落地的每一环,踩过的坑都在真实业务里验证过。 在 Agent 做到深水区之后,开始转向一个更难的方向:具身智能。近两年系统性投入,围绕机器人学习框架、具身数据采集与训练管线做大量一线实践,完成了从“大模型工程师”到“具身智能实践者”的转型。以自身经历,沉淀 LLM Agent 工程师转型具身智能开发的实践经验与高效路径。

推荐

趣谈网络协议 - 极客时间课程推荐/分享/优惠/折扣
趣谈网络协议
像小说一样的网络协议入门课
刘超前网易研究院云计算技术部首席架构师
专栏 | 135642人已学习
优惠价¥68原价:199
极客时间官网优惠购买
Agent 设计模式之美 - 极客时间课程推荐/分享/优惠/折扣
Agent 设计模式之美
沉淀 ADPS 通用范式,做可成长的 Agent 系统
黄佳新加坡科研局资深研发工程师 《Designing AI Agents》作者 ADPS 创始成员
专栏 | 9006人已学习
优惠价¥68原价:199
极客时间官网优惠购买
Kubernetes入门实战课 - 极客时间课程推荐/分享/优惠/折扣
Kubernetes入门实战课
实战+视频,0 基础快速上手 K8s
罗剑锋前奇虎360技术专家,Nginx/OpenResty开源项目贡献者
专栏 | 23764人已学习
优惠价¥59原价:129
极客时间官网优惠购买
大型Android系统重构实战 - 极客时间课程推荐/分享/优惠/折扣
大型Android系统重构实战
根治遗留系统,高效交付软件
黄俊彬Thoughtworks 资深咨询师
专栏 | 3805人已学习
优惠价¥59原价:99
极客时间官网优惠购买
PyTorch深度学习实战 - 极客时间课程推荐/分享/优惠/折扣
PyTorch深度学习实战
从0到1,快速上手PyTorch
方远LINE China 数据科学家
专栏 | 13639人已学习
优惠价¥59原价:129
极客时间官网优惠购买
Flink核心技术与实战 - 极客时间课程推荐/分享/优惠/折扣
Flink核心技术与实战
系统掌握流数据处理必杀技
张利兵第四范式数据中台架构师,Apache Flink贡献者
视频课 | 17376人已学习
优惠价¥68原价:199
极客时间官网优惠购买