深圳网站开发技术,个性化网站建设费用,网站横幅怎做,做一个微信商城小程序多少钱论文链接#xff1a;https://arxiv.org/pdf/2407.11385 github链接#xff1a;https://www.zhengyiluo.com/Omnigrasp-Site/ 亮点直击 本文设计了一种灵巧且通用的人形机器人运动表示#xff0c;这显著提高了样本效率#xff0c;并使得通过简单而有效的状态和奖励设计来学习… 论文链接https://arxiv.org/pdf/2407.11385 github链接https://www.zhengyiluo.com/Omnigrasp-Site/ 亮点直击 本文设计了一种灵巧且通用的人形机器人运动表示这显著提高了样本效率并使得通过简单而有效的状态和奖励设计来学习抓取成为可能 本文展示了利用这一运动表示可以在不使用配对的全身和物体运动数据的情况下学习合成抓取姿势和轨迹的抓取策略 本文证明了训练人形控制器的可行性该控制器能够实现高成功率的抓取物体遵循复杂轨迹适应多样的训练对象并推广到未见过的对象。 本文提出了一种控制虚拟人形抓取物体并沿着物体轨迹移动的方法。由于控制具有灵巧手的人形存在挑战先前的方法通常使用无身体的手并且只考虑垂直提升或短轨迹。这种有限的范围限制了它们在动画和模拟所需的物体操作方面的适用性。为了弥补这一差距本文学习了一个控制器可以抓取大量1200的物体并将它们携带到随机生成的轨迹上。本文的关键见解是利用一种提供类似人类运动技能并显著加快训练速度的人形运动表示。仅使用简单的奖励、状态和物体表示本文的方法在不同物体和轨迹上显示出良好的可扩展性。在训练过程中不需要配对的全身运动和物体轨迹数据集。在测试时只需要物体网格和抓取、运输所需的轨迹。为了展示本文方法的能力本文展示了在跟随物体轨迹和推广到未见物体方面的最新成功率。
Omnigrasp抓取多样化的物体并跟随物体轨迹
为了解决拾取物体并跟随多样化轨迹的挑战性问题作者首先获取了一个通用的灵巧人形机器人运动表示。利用这一运动表示本文设计了一个分层强化学习框架通过预抓取引导的简单状态和奖励设计来实现抓取物体。本文设计的架构如下图2所示。 PULSE-X基于物理的通用灵巧人形机器人运动表示
本文介绍了PULSE-X它通过增加关节手指扩展了PULSE使其适用于灵巧的人形机器人。 本文首先训练了一个人形机器人运动模仿器该模仿器可以扩展到包含手指运动的大规模人类运动数据集。然后本文使用 variational information bottleneck类似于VAE将运动模仿器提炼成一个运动表示。
数据增强。 由于包含手指动作的全身运动数据集很少例如AMASS序列中91%的数据不包含手指动作本文首先通过添加关节手指动作来增强现有序列并构建一个灵巧的全身运动数据集。类似于BEDLAM中的过程本文将来自AMASS的全身运动与从GRAB和Re:InterHand中采样的手部动作随机配对以创建一个灵巧的AMASS数据集。直观上在这个数据集上进行训练可以提高模仿者的灵巧性以及后续的运动表示。
PHC-X具有关节手指的人形运动模仿。 受PHC的启发本文设计了PHC-X用于具有关节手指的人形运动模仿。对于额外的手指关节本文将它们与身体的其他部分类似对待并发现这种方法足以获得抓取所需的灵巧性。正式地说使用强化学习RL训练的目标状态是
其中包含本体感受与单帧参考姿态之间的差异。
通过在线蒸馏学习运动表示。 在PULSE中学习了一个编码器、解码器和先验以将运动技能压缩到潜在表示中。对于下游任务冻结的解码器和先验将把潜在编码转换为关节驱动。即编码器基于当前输入状态计算潜在编码分布。解码器基于潜在编码生成动作关节驱动。先验基于本体感受定义高斯分布替代了VAE中使用的单位高斯分布。先验通过形成残差动作空间增加了潜在空间的表达能力并指导下游任务学习。本文将编码器和先验分布建模为对角高斯分布 为了训练模型本文使用类似于DAgger的在线蒸馏方法通过在仿真中展开编码器-解码器并查询PHC-X的动作标签。
预抓取引导的物体操作
使用分层强化学习和PULSE-X训练的解码器以及先验本文的物体操作策略的动作空间变成了潜在运动表示。由于动作空间提供了强大的类似人类运动的先验本文能够使用简单的状态和奖励设计并且不需要任何配对的物体和人类运动来学习抓取策略。本文仅使用抓取前的手部姿势预抓取无论是通过生成方法还是动作捕捉MoCap获得的来训练本文的策略。
状态。 为了向任务策略提供关于物体和期望物体轨迹的信息本文将目标状态定义为 状态包含参考物体姿态以及接下来帧的参考物体轨迹与当前物体状态之间的差异。是使用标准物体姿态和基点集BPS[58]计算的物体形状潜在编码。是当前物体位置与每个手部关节位置之间的差异。最后一项是所有手指的接触力。所有数值都相对于人形机器人的朝向进行归一化。注意状态不包含全身姿态、抓取引导或相位变量这使得本文的方法在测试时可以直接应用于未见过的物体和参考轨迹。
动作。 类似于PULSE中的下游任务策略本文将πOmnigrasp的动作空间形成为相对于先验均值μ的残差动作并在以下位置计算PD目标 其中 由先验 计算得出。策略 计算 而不是直接计算目标 并利用 PULSE-X 的潜在运动表示来生成类似人类的动作。
奖励。 虽然本文的策略不需要任何抓取指导或参考身体轨迹作为输入但本文在奖励中使用了预抓取指导。本文将预抓取 定义为单帧的手部姿势包括手的平移 和旋转 。PGDM表明将浮动手初始化到预抓取位置可以帮助策略更好地接近物体并开始操作。由于本文没有像 PGDM 那样将人形机器人初始化为预抓取姿势本文设计了逐步的预抓取奖励。 基于时间和物体与手之间的距离。 这里 表示应进行抓取的帧 表示手的位置。当物体远离手时本文使用类似于点目标奖励的接近奖励 鼓励策略接近预抓取。当手足够接近时本文使用更精确的手部模仿奖励以鼓励手接近预抓取位置。对于只涉及一只手的抓取本文使用指示变量 来过滤掉离物体太远的手。在时间步 之后本文仅使用物体轨迹跟随奖励 计算当前物体姿态与参考物体姿态之间的差异这一差异会通过一个指示变量 进行过滤该变量在物体与人形机器人的手接触时设置为 true。奖励 鼓励人形机器人的手与物体接触。
物体3D轨迹生成器。 由于地面真实物体轨迹的数量有限这些轨迹要么是通过运动捕捉MoCap收集的要么是由动画师制作的本文设计了一个3D物体轨迹生成器可以生成具有不同速度和方向的轨迹。使用这个轨迹生成器本文的策略可以在没有任何地面真实物体轨迹的情况下进行训练。这种策略提供了更好的潜在物体轨迹覆盖范围所生成的策略在跟踪未见过的轨迹时取得了更高的成功率见下表1。具体来说本文将PACER中使用的2D轨迹生成器扩展到3D并创建了本文的轨迹生成器 。给定初始物体姿态 可以生成一系列合理的参考物体运动 。本文将z方向的轨迹限制在0.03米到1.8米之间而xy方向则不受限制。 训练。 训练过程如下算法1所示。运动模仿性能提升的主要来源之一是硬负样本挖掘即定期评估策略以找到失败的序列进行训练。因此本文没有使用对象课程而是使用简单的硬负样本挖掘过程来选择难度较大的对象 进行训练。具体来说设 为对象 在所有之前运行中失败的次数。选择对象 的概率 为
其中 是所有对象的总数。 实验
抓取和轨迹跟踪
由于运动效果在视频中呈现得最好.除非另有说明所有策略均在各自数据集的训练集上进行训练并且本文在GRAB和OakInk数据集上进行了跨数据集实验。所有实验运行10次并取平均值因为模拟器每次运行时会由于浮点误差等原因产生略微不同的结果。由于全身模拟人形抓取是一个相对较新的任务基线数量有限本文使用Braun等人[6]作为主要比较对象。本文还实现了AMP和PHC作为基线。本文在训练AMP时采用了类似的状态和奖励设计不使用PULSE-X的潜在空间并使用了任务和鉴别器奖励权重0.5和0.5。PHC指的是使用模仿器进行抓取本文直接将真实的运动学身体和手指运动数据输入预训练的模仿器以抓取物体。
GRAB数据集50个物体。 由于Braun等人不使用随机生成的轨迹为了公平比较本文在两种不同的设置下训练了Omnigrasp一种仅使用MoCap物体轨迹进行训练另一种仅使用合成轨迹进行训练。从表1中可以看出本文的方法在所有指标上都优于之前的SOTA和基线尤其是在成功率和轨迹跟踪方面。由于所有方法都基于模拟本文省略了穿透/脚滑动指标并报告了精确的轨迹跟踪误差。与Braun等人相比Omnigrasp在物体提升和轨迹跟踪方面都实现了高成功率。直接使用运动模仿器PHC即使提供了真实的运动学姿态成功率也很低显示出模仿器的误差平均30毫米对于精确抓取物体来说太大。MoCap和本文的模拟人形之间的身体形状不匹配也导致了这种误差。AMP导致低轨迹成功率显示了在动作空间中使用运动先验的重要性。Omnigrasp可以以平均28毫米的误差精确跟踪MoCap轨迹。比较在MoCap轨迹和随机生成的轨迹上进行训练本文可以看到在生成的轨迹上训练在成功率和位置误差上表现更好虽然在旋转误差上表现较差。这是因为本文的3D轨迹生成器在物理上合理的3D轨迹上收敛得很好但在随机生成的旋转和MoCap物体旋转之间存在差距。通过在轨迹生成器上引入更多的旋转变化可以改善这一点。轨迹成功率Succtraj和抓取成功率Succgrasp之间的差距显示跟踪完整轨迹比仅仅抓取要困难得多并且在轨迹跟踪过程中物体可能会掉落。定性结果见下图3。 OakInk数据集1700个物体。 在OakInk数据集上本文将抓取策略扩展到超过1000个物体并测试对未见过物体的泛化能力。本文还进行了跨数据集实验在GRAB数据集上训练并在OakInk数据集上测试。结果如下表3所示。可以看到1330个物体中有1272个被训练成功抓取整个提升过程也有很高的成功率。在测试集中本文观察到类似的结果。经过检查失败的物体通常要么太大要么太小导致人形机器人无法建立抓取。大量的物体也对难负样本挖掘过程造成了压力。在GRAB和OakInk上训练的策略显示出最高的成功率因为在GRAB中有双手预抓取策略学会了使用双手。使用双手显著提高了一些较大物体的成功率人形机器人可以用一只手勺起物体并用双手携带。由于OakInk只有单手预抓取因此无法学习这种策略。令人惊讶的是仅在GRAB上训练在OakInk上也取得了很高的成功率抓取了超过1000个物体而无需在该数据集上进行训练展示了本文抓取策略在未见过物体上的鲁棒性。 OMOMO数据集7个物体。 在OMOMO数据集上本文训练了一种策略以展示本文的方法能够学习抓取大型物体。如下表2显示本文的方法能够成功学习抓取所有物体包括椅子和灯。对于较大的物体预抓取指导对于引导策略学习双手操作技能至关重要如上图3所示。 消融 分析
消融实验
在本节中本文使用GRAB数据集的跨对象分割来研究本文框架中不同组件的影响。结果如下表4所示。 首先本文比较了在有第6行和没有第1行PULSE-X动作空间的情况下训练本文的方法。使用相同的奖励和状态设计可以看出使用通用运动先验显著提高了成功率。经过检查使用PULSE-X还产生了类似人类的运动而不使用则导致不自然的运动。
第2行与第6行的对比表明预抓取指导对于学习稳定的抓取动作至关重要但没有它某些物体仍然可以成功抓取。
第3行与第6行的对比显示了灵巧AMASS数据集的重要性如果没有在包含多样手部运动和全身运动的数据集上进行训练策略可以学会拾取物体高抓取成功率但在轨迹跟踪方面会有困难。这是预期的因为运动先验可能缺乏“移动时持物”的动作。
第4行和第5行表明物体位置随机化和硬负挖掘对于学习稳健和成功的策略至关重要。
分析多样化的抓取策略。 在下图4中本文可视化了本文方法所使用的抓取策略。可以看到根据物体的形状本文的策略在轨迹跟踪过程中使用了多样化的抓取方式。基于轨迹和物体的初始姿态Omnigrasp为同一物体发现了不同的抓取姿态这展示了使用模拟和物理定律进行抓取生成的优势。本文还注意到对于较大的物体本文的策略会采用双手和非抓握式的运输策略。这种行为是从GRAB中的预抓取学习到的GRAB使用双手进行物体操作。 限制、总结和未来工作
限制
尽管Omnigrasp展示了控制模拟人形机器人抓取各种物体并在保持物体的同时跟随全方向轨迹的可行性但仍然存在许多限制。例如尽管输入和奖励中提供了6自由度6DoF输入系统在旋转误差方面仍需进一步改进。Omnigrasp尚未支持精确的手内操作。轨迹跟随的成功率可以提高因为物体可能会掉落或无法被拾起。另一个改进领域是实现对物体的特定类型抓取这可能需要额外的输入例如所需的接触点和抓取方式。即使在模拟中实现人类水平的灵巧度仍然具有挑战性。有关失败案例的可视化请参见补充网站。
结论与未来工作
总之本文展示了Omnigrasp这是一种能够抓取超过1200种物体并在保持物体的同时跟随轨迹的人形机器人控制器。它可以推广到类似尺寸的未见过的物体利用双手技能并支持拾取较大的物体。本文证明通过使用预训练的通用人形机器人运动表示可以通过简单的奖励和状态设计来学习抓取。未来的工作包括提高轨迹跟随的成功率提高抓取的多样性并支持更多的物体类别。此外改进人形机器人运动表示也是一个有前途的方向。虽然本文使用了一个简单但有效的统一运动潜在空间将手和身体的运动表示分开可能会带来进一步的改进。有效的物体表示也是一个重要的未来方向。如何制定一种不依赖于标准物体姿势且能够推广到基于视觉系统的物体表示将有助于模型推广到更多物体。
参考文献
[1] Grasping Diverse Objects with Simulated Humanoids
