常州的网站建设,公司注册地址变更需要多久,云南最近出了什么流行病,网站颜色配色具身智能controller---RT-1#xff08;Robotics Transformer#xff09;#xff08;上---方法介绍#xff09; 相关链接摘要和简介相关工作与预备知识系统概述模型 RT-1: ROBOTICS TRANSFORMER模型 相关链接
github链接 主页链接#xff08;包括论文和训练数据集#xf… 具身智能controller---RT-1Robotics Transformer上---方法介绍 相关链接摘要和简介相关工作与预备知识系统概述模型 RT-1: ROBOTICS TRANSFORMER模型 相关链接
github链接 主页链接包括论文和训练数据集
摘要和简介
迁移学习在计算机视觉领域已有很多研究但在端到端的机器人学习控制的领域研究还比较少本论文提出通用的机器人模型一个关键点在于开放式的open-ended任务不可知的(task-agnostic)训练, 有着高容量(high-capacity)的网络结构可以吸收所有不同种类的机器人数据。 论文里的核心问题可否利用大量的机器人任务数据训练一个大规模多任务骨干模型?这个模型是否会从别的领域观测获得好处, 表现出对新任务、环境和对象的zero-shot能力? 其挑战主要存在两个方面正确的数据集和合适的模型设计
数据集好的泛化性需要数据集同时具有规模和宽泛性包含各种不同的任务和设置模型设计 需要大容量Transformer网络很符合这个需求。 为此该论文提出一个先进的机器人控制网络RT-1 (Robotics Transformer 1), 它将高维输入和输出编码成紧凑的token表征包括图像文本指令和电机控制指令并可以进行实时推理控制。
相关工作与预备知识
在使用语言和Transformer控制机器人这个方向本工作在此方向上更进一步将语言视觉观测映射到机器人动作的过程当作一个序列建模过程并使用Transformer网络来学习这个映射大部分工作专注于让Transformer学习单个任务如Goto, Behaviour Transformer,本工作验证了基于Transformer的策略在保持实时性的同时具有高容量high capacity和泛化性本工作进一步支持了多任务和language-conditioned机器人学习的能力, 在大规模数据集有大量不同行为对象和场景上提供了实验结果并提出了新的结构和设计选项使得机器人可以在更大规模上进行学习机器人学习(Robot learning): 我们旨在学习机器人策略用于从视觉观测中解决language-conditioned任务Transformers,一个Transformer网络是一系列的模型映射它将一个输入序列映射到一个输出序列联合使用自注意力(self-attention)层和全连接神经网络模仿学习(Imitation learning)在演示数据上学习机器人策略类似一般深度学习中的监督学习目标是最小化基于观测的预测值与标签值之间的差异。
系统概述
目标创建和演示一个通用的机器人学习系统可以吸收大规模的数据并能有效地泛化 机器人平台EverydayRobots的移动操作机器人具有7自由度的机械臂两指夹爪和一个移动底盘
环境:三个厨房环境—两个真实办公厨房和一个基于这些真实厨房建模的训练环境
数据: 人类提供的示教并对每个episode进行文本标注用于表示其动作指令。我们最大的数据集包含在超过700个任务上超过130条独立示教 RT-1: 输入短序列图像和一条自然语言指令输出当前时刻机器人的动作。为此网络结构包括多个部分:首先使用一个基于ImageNet预训练的卷积神经网络对图像和文本进行处理生成多个token然后使用Token Learner计算一个紧凑的token集合最后使用一个Transformer处理这些Token并产生离散的动作tokens。输出的动作包括机械臂的七自由度运动 (x, y, z, roll, pitch, yaw, opening of the gripper), 底盘的三自由度运动(x, y, yaw)和一个离散维度用于表征动作模式转换控制机械臂控制底盘或者结束)。
模型 RT-1: ROBOTICS TRANSFORMER
本部分介绍如何tokenize图像文本指令和动作,然后讨论RT-1模型结构并描述如何进行实时控制最后介绍数据采集流程以及数据集中的技能和指令。
模型 指令和图像tokenizationRT-1通过将最新的6帧图像输入到基于ImageNet预训练的EfficientNet-B3网络来tokenizes这些图像,该网络使用6张300x300的图像输出一张9x9x512的空间特征图然后变平成81个512维的token输给后面的网络层来处理指令首先通过universal sentense encoder进行编码得到一个512维的向量这个embedding然后输入到 identity-initialized FiLM层加入到预训练的EfficientNet中用来训练图像编码器。整个图像和指令tokenization网络共有约6M参数包括26层MBConv块和FiLM层,最终产生81个指令图像token TokenLearnerTokenLearner对81视觉指令token进行采样最终获得仅仅8个tokens输入到后续的Transformer层 Transformer: 历史6张张图像指令对应的8 个token拼接在一起形成48个token(包括增加的位置编码)输入到Transformer骨干。Transformer是一个 decoder-only序列模型它有8个self-attention层总共约19M参数最终输出action tokens 动作tokenization每个连续的动作被离散到256维的bin中并被映射到其中之一 Loss标准分类交叉熵和随机mask 实时推理加速1使用token learner对原始token进行压缩2推理时保留历史5帧图像对应的指令图像token而不必全部重新计算分别加速2.4倍和1.7倍。
