我是一个刚接触具身智能的小白。
第一次看 ACT 项目,什么 Transformer、VAE、Mujoco、rollout,全是天书。
但我没打算先把理论补完。太难,也太慢。
我的策略是:直接上手,边做边学,卡在哪就学到哪。
这篇文章是我的第一站——带你一起看懂 ACT 项目的整体架构,了解它的核心模块和流程。

开始前,我列了 本文出现的18 个关键词,是我一开始完全搞不懂的。你可以先扫一眼,如果不认识的超过 10 个,那我们就是同路人,可以放心往下看了。
这是这个系列的第二篇正式文章,预计整个学习周期是1个月,同道中人,请关注收藏,不要掉队。
| 关键词 | 通用含义 | ACT 项目中的含义与作用 | |
|---|---|---|---|
| 1 | conda | Python 环境与依赖管理工具 | 用于创建独立环境,安装项目依赖(PyTorch、dm_control 等) |
| 2 | policy | 状态到动作的映射函数,策略网络 | 一个基于 Transformer 的神经策略网络,学习从观测到动作的映射 |
| 3 | Transformer | 一种基于注意力机制的序列建模神经网络架构 | 建模动作历史序列,实现动作 chunk 的生成 |
| 4 | 检查点 | 模型训练过程中的保存文件 | 保存 .pt 文件形式的模型参数,用于恢复或部署 |
| 5 | CNN+MLP | 卷积神经网络用于特征提取,MLP 进行输出 | CNN 提取图像特征,MLP 用于动作预测输出 |
| 6 | L1损失 | 预测值与真实值间的绝对误差 | 衡量预测动作与专家动作的差异,用于模仿学习训练损失 |
| 7 | KL散度损失 | 衡量两个概率分布之间的差异,常用于 VAE | 用于约束视觉 la |
4046



被折叠的 条评论
为什么被折叠?



