做视频广告在哪个网站能够赚钱,响应式网站文案,商城类网站如何众筹,做一个微网站平台3D模型广泛应用于计算机游戏、电影、工程、零售业、广告等许多领域。市场上有很多制作3D模型的工具#xff0c;但几乎没有工具可以直观地搜索3D模型数据库以找到类似的3D模型 因为开发好的 3D 模型搜索工具非常具有挑战性。 它需要复杂的计算和 AI/ML 框架来创建模型描述符并提…3D模型广泛应用于计算机游戏、电影、工程、零售业、广告等许多领域。市场上有很多制作3D模型的工具但几乎没有工具可以直观地搜索3D模型数据库以找到类似的3D模型 因为开发好的 3D 模型搜索工具非常具有挑战性。 它需要复杂的计算和 AI/ML 框架来创建模型描述符并提取特征向量、数据库来保存和索引大量形状数据以及在大型数据集上进行近实时模式匹配。 推荐用 NSDT编辑器 快速搭建可编程3D场景 1、要解决的业务问题
在这篇文章中让我们了解 3D 模型业务中的实际业务问题并了解如何在 AWS 云上实施该解决方案。 让我们从一个假设的业务问题开始。 工程设计公司 X 在旧数据存储中存储了大量 3D 模型他们希望开展一项新业务来在线销售其模型。 公司希望提供使用照片、手绘或 3D 模型对象进行视觉搜索的服务并找到匹配的 3D 模型以便客户可以轻松选择和购买他们想要的模型。 在这里X 公司在遗留数据库中拥有大量 3D 模型。 第一步是将模型下载到云存储最好是 S3并提取这些模型的形状和特征数据然后对数据建立索引以便将相似的模型分组在一起并实现高效搜索。
2、特征生成和索引
下图说明了形状和特征数据生成和索引的架构。
以下是实施该解决方案所需采取的步骤。
配置提供无服务器批量计算平台的 AWS Batch 以运行连接到旧数据库并将 3D 模型文件下载到 S3 存储桶的服务。 可以安排它每晚运行。实施 AWS Lambda 函数来处理 S3 存储桶中下载的 3D 模型并使用形状表示算法生成形状数据。 生成的形状数据应存储在 Amazon DynamoDB 中。 可以配置此 Lambda 函数以触发 S3 存储桶放置事件。实施另一个 AWS Lambda 函数以不同角度创建 3D 模型的多个快照并将它们作为图像存储在 S3 存储桶中。使用在众所周知的 ImageNet 数据集上预先训练的卷积神经网络 (CNN) 模型从生成的图像中提取特征或者使用 Amazon SageMaker 训练和部署的模型Amazon SageMaker 是一个完全托管的机器学习平台允许创建、训练和部署 在 AWS 云中快速部署机器学习模型。 使用此模型可以提取图像纹理、几何数据和元数据并将其存储在 Amazon DynamoDB 中。创建另一个 lambda 函数以使用步骤 4 中提取的特征数据来丰富步骤 2 中生成的形状数据。现在形状数据已使用特征数据来丰富。 形状数据是一组浮点数。 下一步是将相似的形状分组在一起。使用 AWS lambda 函数在 Amazon OpenSearch Service 上构建参考 k-NN 索引这是一项完全托管的服务可让你轻松、经济高效地大规模部署、保护和运行弹性搜索。 Amazon OpenSearch Service 提供 k-最近邻 (k-NN) 搜索可以将形状数据存储为向量并使用 k-NN 算法按欧几里得距离或余弦相似度对相似的形状数据进行分组。
现在我们已经生成了富含特征的形状描述符并使用 k 最近邻 (k-NN) 算法对它们进行了索引。 接下来展示 3D 模型或模型的 2D 视图你可以使用工具绘制前视图、顶视图和侧视图以查询应用程序以从 Amazon OpenSearch 中的索引数据中查找类似模型。
3、3D模型搜索
下图描述了从模型存储库中查找相似模型的实时 3D 模型搜索的架构。
使用 S3 中托管的 Web 应用程序你可以上传 3D 模型对象如果有也可以使用草图应用程序绘制模型的顶视图、前视图和侧视图并将视图作为图像上传。 如果从不同角度呈现更多视图图像将获得更准确的结果。上传的图像通过 Amazon API Gateway 发送到 AWS Lambda。AWS Lambda 函数将为上传的模型/图像生成形状描述符然后调用 Amazon SageMaker 实时端点来提取特征数据。AWS Lambda 函数将利用特征数据丰富形状描述符。AWS Lambda 函数将查询发送到 Amazon Elastic Search Service (Amazon OpenSearch Service) 索引中的 k 最近邻。 它将返回 k 个相似模型数据的列表并返回模型各自的 Amazon S3 URI。AWS Lambda 函数生成预签名的 Amazon S3 URL 以返回到客户端 Web 应用程序以可视化类似的模型。
本文的目的是解释使用 AWS 服务在 AWS 云上进行 3D 模型搜索服务的架构和高级实现细节。 添加了下面的常见问题解答部分以提供更多详细信息。
4、常见问题解答
什么是 3D 形状描述符
3D 形状描述符是一组数字用于表示 3D 模型表面上的点以捕获 3D 对象的几何本质。 它是 3D 对象的紧凑表示描述符形成具有有意义的距离度量的向量空间。
如何生成 3D 形状描述符
有许多算法可用于生成 3D 形状描述符。 他们生成一组 2D 视图数据这些数据是通过以不同角度旋转 3D 模型而生成的。 更多视图产生更高的准确性。 流行的算法是光场描述符LFD和多视图卷积神经网络MVCNN。
什么是预训练 CNN 模型
预训练模型是由某人创建和训练的模型用于解决与我们遇到的问题类似的问题。 在我们的例子中我们可以使用预先训练的 resnet50 卷积神经网络该网络经过 ImageNet 数据库中超过一百万张图像的训练。 resnet50 可作为 SageMaker 中的内置算法使用。
什么是 SageMaker
它是一项完全托管的机器学习服务可快速轻松地构建和训练机器学习模型然后直接将其部署到生产就绪的托管环境中。
Amazon Elastic Search Service 与 Amazon OpenSearch Service。
Amazon Elastic Search Service 现在更名为 Amazon OpenSearch Service它提供最新版本的 OpenSearch 以及由 OpenSearch 仪表板和 Kibana 提供支持的可视化功能。 它使你能够轻松摄取、保护、搜索、聚合、查看和分析大量数据。
Amazon OpenSearch Service 的 k-NN 是什么
它允许你在向量空间中搜索点并通过欧几里得距离或余弦相似度找到这些点的“k 个最近邻”。 原文链接基于AWS的3D模型搜索 — BimAnt
