购物网站计划书,2017网站建设前景,开发一个app大概需要多少钱,网站开发预算报价表在复杂场景中实现抓取检测#xff0c;Graspness是一种端到端的方法#xff1b;
输入点云数据#xff0c;输出抓取角度、抓取深度、夹具宽度等信息。 开源地址#xff1a;GitHub - rhett-chen/graspness_implementation: My implementation of Graspnet Graspness.
论文地…在复杂场景中实现抓取检测Graspness是一种端到端的方法
输入点云数据输出抓取角度、抓取深度、夹具宽度等信息。 开源地址GitHub - rhett-chen/graspness_implementation: My implementation of Graspnet Graspness.
论文地址Graspness Discovery in Clutters for Fast and Accurate Grasp Detection
看看检测效果输出彩色三维点云的抓取效果 然后输出纯三维点云的抓取效果 论文复现参考我这篇博客【机器人】Graspness 端到端抓取点估计 | 环境搭建 | 模型推理测试-CSDN博客 简单总结一下GraspNess
将通用的抓取位姿检测分解为两个阶段two-stage问题
where阶段从单视角点云中找到高可抓取性high graspability的区域即识别出场景中值得关注的局部空间点。how阶段在确定了待抓取区域的基础上为这些点确定具体的抓取参数包括抓取器相对于物体的入射角度、绕物体表面的平面内旋转角度、抓取深度、抓取分数置信度以及抓取器张开的宽度等。
该两阶段划分将复杂的抓取检测过程拆分首先关注 “抓哪儿”区域选择然后再精确计算 “怎么抓”。
目录
1、研究背景与动机
2、改进思路
3、模型框架
第一阶段可抓取性模型
第二阶段抓取操作模型
特征图维度变化总结
4、细节设计
4.1 抓取性度量的引入
4.2 单物体抓取性得分的计算公式
4.3 复杂抓取性得分的计算公式
4.4 t-SNE数据降维可视化
4.5 最远点采样FPS
4.6 圆柱分组Cylinder-Grouping
4.7 抓取参数估计
4.8 多任务损失
五、实验测试 1、研究背景与动机
对于机器人操作而言抓取是一个关键但具有挑战性的任务。
在传统的6DoF抓取检测方法中一般会对场景中的所有点进行均等处理如在点云中均匀采样抓取位姿候选试图寻找最优的抓取姿势。
然而这种“不加区分”的处理方式会带来两个明显的问题
速度问题在一个复杂或拥挤cluttered的场景中不区分优先级地处理大量候选抓取点位将导致计算成本过高降低推理速度。精度问题忽视场景中不同区域的质量差异会使得搜索过程变得无谓冗余影响整体的抓取检测准确性。
现有6-DoF抓取姿态检测方法主要着力于“how阶段”即专注于提高最终抓取参数预测的质量而对“where阶段”初步过滤场景中那些明显不可能抓取的区域关注不足。
已有方法可分为两类
采样-评估范式sampling-evaluation这类方法在场景中均匀地随机采样大量抓取候选点然后用模型对这些点逐一评估抓取质量。端到端方法end-to-end这类方法采用端到端神经网络从输入的点云直接预测整个场景的抓取参数。有的在网络输入前对点云进行下采样有的在网络前向传播过程中进行采样。但本质上仍然没有显式区分出“值得关注的点”可抓取点和“不值得关注的点”。
然而无论是上述哪一类方法它们并没有显式地在第一阶段对场景进行有效过滤都采用了均匀分布的候选点。
这意味着不管场景中是否存在大量不可抓取区域这些方法都会耗费大量资源在不必要的点上从而导致计算冗余。 2、改进思路
作者指出均匀采样策略在实际中存在很大缺点。3D空间中无数点存在能够真正被稳定抓取可抓取区域的点只是很小一部分。
关键点1在通过场景的局部几何特征来区分哪些区域更具有可抓性。
在尝试实际抓取参数计算之前先通过对局部空间点的几何结构分析为其分配一个“可抓取程度”的分数。这种先行的度量可以让算法在早期对整个场景进行过滤。
关键点2从认知科学视角审视人类在实际抓取任务中会将视觉注意力偏向于那些最易于抓取的区域 在实际行动抓取参数预测之前先通过感知偏向将注意力分配到高可抓取区域在机器人抓取任务中类比这种注意力分配机制
整体模型框架是一个两阶段-端到端网络其流程如下
输入完整的场景点云。第一阶段利用可抓取评分筛选出高抓取性点where阶段舍弃低分点从而减少后续计算量。第二阶段对所选择的高分点进一步预测完整的抓取参数how阶段。 3、模型框架
整体模型框架是一个两阶段-端到端网络如下图所示
第一阶段可抓取性模型上图部分第二阶段抓取操作模型下图部分 第一阶段可抓取性模型 输入点云接收一个点云作为输入维度Nx3其中包含场景的3D坐标信息。 点编码器-解码器点云通过一个点编码器-解码器结构维度Nx(3C)该结构输出每个点的C维特征向量。 点级抓取性景观通过一个多层感知机MLP生成点级抓取性得分这些得分表示每个点的抓取可能性。 抓取可能性高的点使用最远点采样FPS策略从点级抓取性景观中选择M个种子点维度Mx(3C)这些点具有较高的抓取性得分。 种子点选出的种子点用于生成视图级抓取性景观。 视图级抓取性景观通过MLP为每个种子点生成视图级抓取性得分维度Mx(VC)这些得分表示在不同视图方向上的抓取可能性.
第二阶段抓取操作模型 选择最佳的抓取视图结合了“抓取位置可能性高的点”和“抓取方向信息”选择最佳的抓取视图。输入维度是维度Mx(3C)和Mx(VC)其中V是其是也是3形成的维度Mx(33C) 圆柱分组种子点被分组到圆柱形区域中这些区域由种子点的位置和选定的视图方向确定。每个圆柱组包含 K个点特征维度为 K×(3C) 圆柱组每个圆柱形区域中的点被采样并用于抓取参数的估计。 MLP处理每个圆柱组的点通过MLP处理生成抓取候选点的特征向量维度为 M×C′其中 C′是MLP输出的特征维度。 角度-深度搜索在每个圆柱组中通过搜索不同的角度和深度来优化抓取姿态输出抓取姿态的得分和夹持器宽度维度为 M×(A×D×2)其中 A是角度的数量D 是深度的数量2代表得分和宽度。 输出抓取姿态对于每个圆柱组网络输出M个抓取姿态包括抓取得分和夹持器宽度。
特征图维度变化总结
输入到编码器-解码器N×3到 N×(3C)点级抓取性得分N×(3C) 到 M×(3C)视图级抓取性得分M×(3C) 到 M×(VC)视图选择Mx(3C)和Mx(VC)到Mx(33C)圆柱分组M×(33C) 到 K×(3C)抓取候选点特征K×(3C) 到 M×C′输出抓取姿态M×C′到 M×(A×D×2) 4、细节设计
4.1 抓取性度量的引入
引入了点级抓取性和视图级抓取性两种抓取性度量
点级抓取性Point-wise Graspness表示为Sp{∣⊂[0,1],i1,...,N}其中[0,1][0,1]表示每个点的抓取性得分范围。视图级抓取性View-wise Graspness表示为Sv{∣⊂,i1,...,N}其中表示在V维空间中的抓取性得分。 抓取性度量的基本符号
点集P{∣i1,...,N}表示场景中的所有点。视图方向集V{∣j1,...,V}表示在球面空间中均匀分布的视图方向。 4.2 单物体抓取性得分的计算公式
点级抓取性得分Point-wise Graspness Score 其中1(g)是一个指示函数如果抓取 g成功则为1否则为0。是以点为中心视图下所有可行抓取姿态的集合。一个点在所有可能的抓取方向上成功抓取的平均概率。得分越高表示该点在更多方向上具有成功的抓取潜力因此更适合作为抓取点。
视图级抓取性得分View-wise Graspness Score 是用于评估在特定视图方向上抓取成功可能性的量化指标帮助于机器人在复杂环境中快速识别出哪些方向更有可能成为成功的抓取方向 4.3 复杂抓取性得分的计算公式
在复杂场景中抓取性不仅取决于点的几何特性还受到场景中其他物体的影响。
碰撞检测用于评估在特定抓取姿态下夹持器是否会与场景中的其他物体发生碰撞。
作者提出了一种方法通过重建场景并进行碰撞检测来处理碰撞问题。每个抓取候选点都会经过碰撞检测并根据结果更新抓取性得分。使用物体的3D模型和相应的6D姿态重建场景对每个抓取候选点进行碰撞检测并分配碰撞标签 其中是抓取质量得分c是一个阈值用于过滤不成功的抓取。
重建场景使用物体的3D模型和相应的6D姿态位置和方向来重建场景。评估抓取候选点对每个抓取候选点进行碰撞检测确定它是否与场景中的其他物体发生碰撞。更新抓取性得分根据碰撞检测的结果更新抓取性得分。如果抓取候选点与场景中的其他物体发生碰撞其抓取性得分将被降低。正负样本的选择作者将抓取性得分高于0.3的点视为正样本而抓取性得分低于0.1的点则作为同样数量的负样本。 4.4 t-SNE数据降维可视化
利用t-SNEt-distributed Stochastic Neighbor Embedding方法对GraspNet-1Billion数据集中所有场景的训练集和测试集进行了局部几何特征的可视化。
t-SNE是一种用于高维数据降维的技术它能够将高维空间中相似的点映射到低维空间中相近的位置从而便于观察数据的分布情况。作者观察到不同抓取性得分的区域在几何上是相当可区分的。这意味着高抓取性得分的区域与低抓取性得分的区域在局部几何特征上存在明显差异。这些观察结果证明了抓取性度量是合理的 4.5 最远点采样FPS
为了最大化种子点之间的距离从而确保采样点在空间上尽可能分散采用最远点采样策略。
这个过程开始于随机选择一个种子点然后迭代选择距离已选种子点集合最远的点作为新的种子点。
这个过程重复进行直到选择了足够数量的种子点。 4.6 圆柱分组Cylinder-Grouping
种子点-视图对首先根据种子点和视图向量确定圆柱空间的位置和方向。分组和采样对于每对种子点和视图使用固定高度和半径的圆柱体从种子点中分组并采样点。这些点将用于抓取参数的估计。 4.7 抓取参数估计
坐标归一化将圆柱体内的点坐标按圆柱半径归一化并与通过抓取性FPS和抓取性PVS输出的特征向量拼接。特征向量分组后的点集被称为抓取候选点其大小为 M×K×(3C)其中 M是种子点的数量K是每个分组中采样的点数C是特征向量的维度。 4.8 多任务损失 级联抓取性模型和抓取操作模型同时训练使用多任务损失函数包括物体分类损失、点级抓取性、视图级抓取性、抓取得分和夹持器宽度的回归损失。 五、实验测试
基准数据集 GraspNet-1Billion这是一个大规模的数据集用于抓取姿态检测包含190个场景每个场景有256个不同视角的视图由两个相机RealSense/Kinect捕获。点云下采样在输入网络之前点云通过体素网格下采样体素大小为0.005米仅包含相机坐标系中的XYZ信息。数据增强在训练过程中通过随机翻转YZ平面和围绕Z轴随机旋转±30°来增强输入云。抓取性模型对于GraspNet-1Billion中的场景为每个点密集标记300个不同视图和每个视图48个抓取的质量得分。
Graspness的方法比GraspNet方法高出接近40个点巨大的涨幅。 看看不同采用点的方法
分析使用可抓取最远点采样Graspable FPS与其他采样方法如随机采样、普通FPS对模型性能的影响 看一下模型效果 论文复现参考我这篇博客【机器人】Graspness 端到端抓取点估计 | 环境搭建 | 模型推理测试-CSDN博客
分享完成~
