h5做网站用什么软件,2022年app拉新推广项目,黔东南网页制作,扁平化风格的网站在机器人训练中#xff0c;如何高效地利用模拟环境一直是研究者们关注的重点问题。 近日#xff0c;美国斯坦福大学李飞飞教授团队提出了一种突破性的“数字表亲”#xff08;digital cousins#xff09;概念。这一创新方法既保留了数字孪生的优势#xff0c;又大大降低了… 在机器人训练中如何高效地利用模拟环境一直是研究者们关注的重点问题。 近日美国斯坦福大学李飞飞教授团队提出了一种突破性的“数字表亲”digital cousins概念。这一创新方法既保留了数字孪生的优势又大大降低了从真实到模拟环境的生成成本同时提高了学习的泛化能力。 “数字表亲”不仅能有效地将真实世界的数据扩展到模拟环境中进行学习还有望为机器人训练带来显著进展为解决长期存在的模拟到现实迁移问题提供了新的思路。 项目主页https://digital-cousins.github.io/论文地址https://arxiv.org/abs/2410.07408 ▍什么是“数字表亲”与“数字孪生”有何不同? 什么是“数字表亲”它与我们熟知的“数字孪生”有何不同 “数字孪生”作为真实场景的精确虚拟复制品虽然能够准确地对场景进行建模但其生成成本极为昂贵且无法提供良好的跨域泛化能力。而“数字表亲”则是一种介于数字孪生与完全随机化之间的创新概念。它不直接模拟现实世界的特定对应物但仍然能够捕捉相似的几何形状和语义功能。
通过这种方式“数字表亲”大大降低了生成类似虚拟环境的成本。同时由于提供了一系列相似但不完全相同的训练场景它还能提高从模拟到真实环境的迁移鲁棒性。 “数字表亲”方法的一大亮点在于它能够同时实现以下三个目标 1、将单幅图像转换为完全交互式的虚拟场景2、全自动处理过程无需人工注释3、训练出的机器人策略可以直接在原始场景中进行零样本部署
这意味着理论上只需拍摄一张照片就能完成从现实到虚拟再到现实的全流程训练。 研究团队发现ACDC方法生成的数字表亲场景成功保留了原始环境的几何结构和语义特征。具体而言这些策略在零样本迁移到真实世界时达到了90%的成功率远远超过了在传统数字孪生环境中训练的策略仅为25%。 ▍ACDC自动创建数字表亲的核心算法 为了实现“数字表亲”的自动生成李飞飞教授团队提出了一种名为ACDCAutomated Creation of Digital Cousins的算法。这个算法包含三个关键步骤
1、信息提取 从输入的单张RGB图像中提取每个物体的关键信息包括位置、大小、朝向等。 2、数字表亲匹配 利用第一步提取的信息结合预先准备的3D模型资产库为检测到的每个物体匹配最合适的数字表亲模型。 3、场景生成 对选定的数字表亲模型进行后处理和组合生成一个物理上合理且完全可交互的虚拟场景。 ACDC通过这三个阶段能自动生成在语义层面与输入图片相近但又不尽相同的虚拟环境。这为机器人策略学习提供了丰富多样的训练场景。
值得注意的是与数字孪生不同数字表亲并不追求在所有微小细节上都完美重建给定场景而是专注于保留更高层次的细节如物体间的空间关系和语义信息。这种做法不仅降低了计算成本还有助于提高学习策略的泛化能力。 在构建了一组数字表亲场景后研究团队采用了基于脚本演示的模仿学习方法来训练机器人策略。他们实现了包括打开、关闭、拿取和放置等基础技能这些技能足以用于收集各种日常任务的演示数据如物体重新排列和操作家具等。 ▍实验验证“数字表亲”的优越性能 为了全面评估数字表亲方法的有效性研究团队设计了一系列实验旨在回答以下问题 研究团队通过一系列实验全面评估了ACDC方法的性能和潜力。他们探讨了ACDC从单张RGB图像生成高质量数字表亲的能力特别关注其捕捉原始场景语义和空间细节的准确性。 同时团队比较了数字表亲和数字孪生在策略训练方面的效果既在原始环境中进行评估也测试了在分布外设置中的表现以验证数字表亲训练策略的稳健性和适应能力。 此外研究还着重考察了这些策略实现零样本从模拟到现实迁移的可能性。 场景重建质量评估 首先研究者们对ACDC生成的场景进行了定量和定性评估。结果显示ACDC在多个指标上都取得了令人满意的表现
ACDC在真实到虚拟场景转换中的表现通过这些指标得到了量化。值得注意的是系统能为同一场景生成多个不同的数字表亲版本。
基于这些全面的评估结果研究团队有充分理由得出积极结论ACDC确实展现了出色的能力能够从单一RGB图像出发创建保留原始场景语义和空间特征的数字表亲。这些虚拟复制品不仅在物体识别上表现出色还能准确还原其在场景中的位置和尺寸。 这些数据表明ACDC能够准确捕捉输入场景中的语义和空间信息并生成高质量的数字表亲模型。 sim2sim策略学习 为了验证数字表亲在策略学习中的效果研究团队在三个典型任务上进行了对比实验开门、打开抽屉和收起碗。实验结果表明
1、在数字表亲上训练的策略通常可以匹配甚至优于数字孪生的表现。 2、随着测试环境与训练环境差异的增大数字表亲训练的策略展现出更强的鲁棒性。 3、简单的领域随机化All Assets策略效果较差说明数字表亲方法的优势。
这些结果证实了数字表亲在保持分布内性能的同时还能提供更好的分布外泛化能力。 sim2real策略迁移 研究团队进行了深入的实验评估比较了基于数字孪生和数字表亲的策略在真实世界中的零样本表现。实验任务设定为开启宜家柜门以成功率作为关键评估指标。
为确保结果的可靠性模拟环境中进行了超过50次的测试而在真实环境中则完成了20多次的验证。
real2sim2real全流程验证 在机器人学习领域无论采用数字孪生还是数字表亲技术最终的检验标准始终是真实世界的应用表现。基于这一理念研究团队在实验的收官阶段选择了一个未经预设的真实厨房环境对ACDC的完整流程和自动化策略学习框架进行了全面的端到端测试。 经过在数字表亲环境中的针对性训练后机器人成功完成了开启厨房橱柜的任务有力证明了ACDC方法在真实场景中的适用性和有效性。为了直观展示这一突破研究团队提供了一个演示视频展示了数字表亲的全自动生成过程。 实验证明零样本从模拟到现实sim2real的策略迁移实验取得了显著成果。仅仅依靠从四个生成的数字表亲中学习的策略就能直接应用于相应的真实厨房场景实现了无缝迁移。
基于数字表亲训练的策略展现出了多方面的优势首先在原始分布上其性能与基于数字孪生训练的策略相当其次在面对分布外场景时表现出了更强的适应能力和鲁棒性最后也是最关键的这些策略成功实现了从模拟到现实的零样本迁移无需额外调整就能在真实环境中有效运作。 这些成果不仅验证了ACDC方法的实用价值还为机器人学习在复杂、多变的真实环境中的应用开辟了新的可能性。 ▍结论与展望 通过一系列全面的实验李飞飞教授团队的研究得出了以下重要结论 1、ACDC能够快速、自动地生成与单张真实世界RGB图像对应的交互式数字表亲场景。 2、在数字表亲上训练的策略展现出更强的鲁棒性特别是在分布外场景中。 3、数字表亲训练的策略在领域内性能上与数字孪生相当但在领域外泛化能力上表现更优。 4、数字表亲方法实现了高效的零样本sim2real策略迁移。
然而研究团队也指出了当前方法存在的一些局限性如在处理高频深度信息、遮挡物体和特殊语义类别时可能遇到困难。这些问题为未来的研究指明了方向。
总体来说李飞飞教授团队提出的“数字表亲”技术为机器人学习领域带来了新的思路。这项技术不仅对学术研究具有重要意义也为机器人技术的实际应用开辟了新的可能性。业界将继续关注这一技术的发展期待它带来更多创新和突破。
