公司网站建设费用估计,网站弹出广告代码,做网站基本费用大概需要多少,群晖 wordpress 升级卷积神经网络的剪枝及其在嵌入式视觉系统中的应用
摘要
在过去的十年里#xff0c;计算机视觉的最新技术一直是由深度神经网络#xff0c;特别是卷积神经网络所控制的。无论是分类、语义分割还是目标检测#xff0c;神经网络现在都是一个无可争议的首选。因此#xff0c;…卷积神经网络的剪枝及其在嵌入式视觉系统中的应用
摘要
在过去的十年里计算机视觉的最新技术一直是由深度神经网络特别是卷积神经网络所控制的。无论是分类、语义分割还是目标检测神经网络现在都是一个无可争议的首选。因此它们现在被认为是许多工业应用的必要条件如自动驾驶。这就是为什么许多公司如斯坦兰蒂斯公司现在表现出使人工智能成为他们未来活动的关键部分的新野心的原因。
不幸的是神经网络令人印象深刻的性能带来了代价算法的复杂性、内存占用和能量消耗在嵌入式硬件上是不可行的比如那些在处理能力有限的车辆上发现的硬件。降低这些成本不是一个简单的问题因为它通常意味着降低网络的性能这就是为什么文献的后续部分致力于设计网络或生产它们的方法这样做更有效并允许在性能、健壮性、功耗、内存占用、延迟和散热之间进行更好的权衡。这种深度学习的领域被称为神经网络压缩。
该领域包括多个家族的方法包括剪枝自2015年以来在文献中特别流行。它的基本原则是通过删除被认为是不必要的部分来简化网络即可以在不损害网络性能的情况下删除这些部分。这是本文所关注的一类具体的方法。
在这篇论文中修剪迅速被证明隐藏了一个令人惊讶的复杂性无论是理论的还是实践的当在一个网络中有数百万个参数时如何预测一组参数的实际重要性去除这些参数如何能降低网络的成本而处理器可能无法利用稀疏矩阵乘法我们应该如何删除参数以免干扰训练和损害其表现所有这些问题一开始可能不会立即想到但实际上构建了整个修剪的文献每一个问题都对修剪的成功提高神经网络效率的能力有至关重要的影响。
为了解决这些问题我们决定结构的章节手稿在我们确定的主要维度描述剪枝在介绍章和另一个致力于必要的背景理解的上下文四个主要章节分别解决剪枝标准删除方法剪枝上的结构和剪枝网络的实现硬件这四个方面分别回答了四个问题如何判断一个部分是不必要的所以我们可以删除它如何有效地删除它要删除什么类型的部件以及如何确保引入的稀疏性可以在硬件上有效地利用。
参考文献 Hugo Tessier. Convolutional neural networks pruning and its application to embedded vision systems. Artificial Intelligence [cs.AI]. Ecole nationale supérieure Mines-Télécom Atlantique, 2023. English.
