ACT代码梳理:新手学具身智能,不需要学会一堆理论,先跑起来再说

模仿学习算法——ATC / Diffusion Policy 最近又开始接触具身智能相关的一些工作,本文主要介绍三篇较为基础的用来做模仿学习的算法,后续有空再进一步学习分享RT系列和Pi0等文章ACT算法全称为Action Chunking with Transformers,发表于《Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware》,该论文主要内容为如何使用低成本的硬件和模仿学习算法来实的双手操作,我们主要对算法部分进行剖析ACT算法的网络结构如下图所示,使用的采用的是生成式模型VA 阅读详情

我是一个刚接触具身智能的小白。
第一次看 ACT 项目,什么 Transformer、VAE、Mujoco、rollout,全是天书。

但我没打算先把理论补完。太难,也太慢。
我的策略是:直接上手,边做边学,卡在哪就学到哪。

这篇文章是我的第一站——带你一起看懂 ACT 项目的整体架构,了解它的核心模块和流程。

在这里插入图片描述

开始前,我列了 本文出现的18 个关键词,是我一开始完全搞不懂的。你可以先扫一眼,如果不认识的超过 10 个,那我们就是同路人,可以放心往下看了。

这是这个系列的第二篇正式文章,预计整个学习周期是1个月,同道中人,请关注收藏,不要掉队。

关键词 通用含义 ACT 项目中的含义与作用
1 conda Python 环境与依赖管理工具 用于创建独立环境,安装项目依赖(PyTorch、dm_control 等)
2 policy 状态到动作的映射函数,策略网络 一个基于 Transformer 的神经策略网络,学习从观测到动作的映射
3 Transformer 一种基于注意力机制的序列建模神经网络架构 建模动作历史序列,实现动作 chunk 的生成
4 检查点 模型训练过程中的保存文件 保存 .pt 文件形式的模型参数,用于恢复或部署
5 CNN+MLP 卷积神经网络用于特征提取,MLP 进行输出 CNN 提取图像特征,MLP 用于动作预测输出
6 L1损失 预测值与真实值间的绝对误差 衡量预测动作与专家动作的差异,用于模仿学习训练损失
7 KL散度损失 衡量两个概率分布之间的差异,常用于 VAE 用于约束视觉 la
具身智能ACT模型在lerobot机械臂上复现 ACTPolicy:_action_queue是一个模型推理出来的action的队列,每次推理生成未来100个动作,放在队列中,每次取1个下发,队列取空后,再生成下100个。机械臂在没有抓取成功的时候 ,也会持续往盘子位置移动,然后再回来,说明模型学习到了一些动作的连续性信息,而不是抓取成功或失败的因果关系。3,采集的数据都是一个完整的过程,需要采集不是从头开始的数据,因为可以明显观察到,抓取失败后很难恢复成功,因为没有相关的训练数据。2,采更多数据,用更多的不同道具,不同任务的数据一起训练。 阅读详情

相关推荐

具身智能概念及现状

ŸSayCan:谷歌机器人大模型的开端。未来随着大模型的发展,特别是融合感知、多模态和泛化能力的突破,有望显著推动运动控制技术的进步,实现更加精准、复杂和实时的运动调节,推动具身智能在更多行业的应用。大语言模型(LLM)、视觉语言模型(VLM)等基础模型的最新进展,特别是ChatGPT、PaLM等模型在具身智能中的应用,有效增强了其感知和决策能力,推动大模型成为具身智能实现“感知-推理-预测-行动”能力的主流架构,业界已经有多款模型发布,并在各类复杂任务中取得了显著的进展,且这些模型仍在快速迭代与优化中。

yzf060109的专栏 4046

从零到一:基于DESeq2的转录组差异表达分析实战指南

本文详细介绍了基于DESeq2的转录组差异表达分析实战指南,涵盖数据准备、标准化处理、差异分析及结果解读等关键步骤。DESeq2凭借其稳定性和对低表达基因的友好处理,成为转录组数据分析的首选工具。文章还提供了常见问题排查和优化建议,帮助研究者高效完成从分析到发表的完整流程。

weixin_26759093的博客 275

GD32 TLI+IPA实战:5分钟搞定RGB888屏幕显示,并开启2D图形加速

本文详细介绍了如何使用GD32微控制器的TLI和IPA功能快速驱动RGB888屏幕并开启2D图形加速。通过硬件配置、时序设置和显存管理,开发者可以高效实现图形界面渲染,并利用IPA加速器提升性能,适用于嵌入式GUI开发等场景。

weixin_29163797的博客 235

用AI+Playwright实现零代码UI自动化测试:以登录页面为例的实战指南

本文详细介绍了如何利用AI与Playwright结合实现零代码UI自动化测试,特别以登录页面为例进行实战演示。通过自然语言描述生成测试脚本,大幅降低技术门槛,提升测试效率,并支持跨浏览器验证。适合非技术人员快速上手专业级自动化测试。

weixin_28842269的博客 404

Mamba SSM 实战:IMDb 文本分类 + Mamba-ssm 全流程

Mamba SSM 文本分类链路:IMDb 二分类 → MambaLMHeadModel (d_model=256, n_layer=8, d_state=16, exp2=2) → 末 token 分类头。5 epoch 达 89.2% 准确率 (与 BERT-base 持平), 但显存降低 44% (3.5GB vs 6.2GB)。建议序列长度 ≥ 1024 再选 Mamba, 短序列 (< 512) 用 BERT 更高效。扩展时注意d_state。

m0_71589036的博客 59

keras tensorflow 的lstm的新冠疫情感染人数预测 附完整代码数据 可直接运行

keras tensorflow 的lstm的新冠疫情感染人数预测 附完整代码数据 可直接运行

852

华为OD面试手撕真题 【合并相邻且相等的元素】多语言题解

华为OD面试高频手撕真题【合并相邻且相等的元素】,提供C语言、Java、C++、Python、Go、JavaScript源码实现,并提供完整思路讲解。

qq_45776114的博客 554

基金估值核算系统三国杀:恒生 VS 赢时胜 VS 融选!

本文对比分析了恒生电子、赢时胜和融选科技三家金融科技公司的基金估值系统。恒生电子作为行业龙头,在公募基金领域占据较大份额,其新一代估值系统6.0采用微服务架构,自动化程度高;赢时胜在中型公募和券商资管领域优势明显,其V5.5系统在信创适配和复杂产品处理方面表现突出;融选科技作为新兴厂商,提供轻量化解决方案,适合中小型机构。文章从市场格局、系统定位、技术架构、成本构成和用户反馈五个维度进行深入比较,为金融机构选型提供参考。当前估值系统市场呈现"三国鼎立"格局,各具特色,选型需结合机构规模、

magbox520的博客 829

R语言机器学习 频谱分析

由傅里叶理论可知,时域中的任何信号都可以由一个或多个具有适当频率、幅度和相位的正弦 波叠加而成。也就是说,任何时域信号都可以变换成相应的频域信号,通过频域测量可以得到信号在某个特定频率.上的能量值。频谱分析就是在频域上分析时间序列的方法,它使用傅里叶分析方法,将时域信号转换到频域,并从频域中找出信号频谱的变化规律。原始周期图不是谱密度的一致估计量,但相邻值是渐近独立的。0点的周期图在理论上是0,因为去掉了级数的均值(但这可能会受到渐减的影响):在平滑过程中,它被相邻值的插值所取代,并且该频率不返回任何值。

Mrrunsen的博客 1183

老版QQ原生表情gif动态

这是老版的QQ表情,不过全是动态的的,Windows照片查看器是不会动的,可以右击用浏览器打开查看,再说一遍是老版的,只是分享给宁愿用老版也要动态的人。

TMS_WebGMaps_1.9.8.0_Full_Source

TMS_WebGMaps_1.9.8.0_Full_Source 全源码 delphi cbuilder

蓝牙模块HM-10手册

蓝牙模块HM-10手册,该手册对蓝牙模块HM-10进行了详细的介绍和使用方法以及一些AT指令。

C# WinForm 基于DirectShow.dll编写的程序,可边预览边保存视频,音频和图片

基于微软的DirectShow.dll的二次开发1.自动识别连接的摄像头跟麦克风且可以对其进行选择(默认选中第一个)2.可录制wmv和avi两种格式的视频并且都带有音频,avi可以录制的分辨率和帧数进行选择,wmv默认进行了淸晰度优化如不喜欢可去除代码中有相关提示3.可在预览点开之后进行拍照,也可边录制视频边拍照4.添加了视频和音频的压缩功能(酌情使用)这次二次开发发现C#对DirectShow的相关信息太少,这次做完也不敢藏私共享出来,还望大家指正

上一篇: 机器人如何模仿人类学习精细的操作任务--Aloha ACT算法科普
下一篇: ACT模仿学习代码解读--主函数
哎嗨人生公众号
博客等级 码龄12年 167粉丝 20原创
评论 2
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值