北京装饰公司排名,天津网站seo设计,网站可以做砍价软件吗,万载网站建设论文链接#xff1a; https://arxiv.org/abs/2307.07205 视频异常检测#xff08;Video Anomaly Detection#xff0c;VAD#xff09;扩展自经典的异常检测任务#xff0c;由于异常情况样本非常少见#xff0c;因此经典的异常检测通常被定义为一类分类问题#xff08;On… 论文链接 https://arxiv.org/abs/2307.07205 视频异常检测Video Anomaly DetectionVAD扩展自经典的异常检测任务由于异常情况样本非常少见因此经典的异常检测通常被定义为一类分类问题One-Class ClassificationOCC。而对于VAD而言属于异常情况的样本更是非常罕见因此常见的方法仅使用大量的正常样本进行训练这些方法会将正常视频的隐藏特征限制在一个有限的空间内然后通过距离、概率分布差异、重构和预测误差等度量方式将空间之外的样本检测为异常。
本文介绍一篇发表在ICCV 2023上的工作提出了一种全新的视频异常检测方法称为运动条件引导的扩散模型MoCoDAD。该模型主要针对于视频中人体的骨骼表示进行建模并假设视频中出现的正常现象与异常现象都是多模态的提出使用扩散模型来对人体未来姿态进行预测。通过将视频中行人的历史运动作为条件利用扩散过程中的迭代更新机制来拟合人体运动并生成未来帧当生成的运动骨架信息与真实未来运动骨架信息差异较大时就可以认定为检测到异常。作者在4个标准的人体骨架视频异常检测基准UBnormal、HR-UBnormal、HR-STC和HR-Avenue上进行了大量的实验证明MoCoDAD已达SOTA效果。
01. 引言
虽然计算机视觉近些年发展非常迅速但视频异常检测仍然是一项具有挑战性的任务这其中主要有两大原因
1异常的定义非常主观并且通常会根据上下文和应用场景的改变而变化因此很难对其进行普遍定义。
2异常事件本质上是罕见的正常事件的数据量很庞大而异常事件数据则非常稀少有严重的数据不平衡问题。
为了解决数据稀缺的问题现有的模型通常仅从正常样本中学习也称为一类分类也有学者将这种方式称为半监督学习。本文基于这种背景提出了一种运动条件引导的扩散模型Motion Conditioned Diffusion Anomaly DetectionMoCoDAD它假设正常和异常都是多模态的。给定一个运动序列无论是正常的还是异常的都首先将序列进行分割随后将未来帧退化为随机噪声。以第一个历史帧清晰输入帧作为条件MoCoDAD会对其进行多模态重建。随后在通过比较多模态分布来区分正常和异常。在正常情况下MoCoDAD生成的运动是多样且与真实情况相关的。而在异常的情况下模型生成的运动虽然也具有一定的多样性但缺乏针对性。 上图展示了MoCoDAD对正常和异常示例生成未来帧的效果对比其中红色右和绿色左分别代表异常和正常的示例。在图中底部还可视化了50个未来帧的特征向量虚线轮廓表示当前输入序列所处的分布范围其中的红点表示与当前预测帧所对应真实帧的特征向量在正常情况下真实帧会处在分布的中间区域且预测结果与真实帧是相关的。在异常情况下真实帧会处于分布的尾部这会产生较差的预测并且可以突出异常现象。
02. 本文方法
MoCoDAD基于去噪扩散概率模型DDPM并在其基础上通过对人体运动学特征进行建模并通过人体骨架轨迹点信息作为基本单元通过随机平移的方式来更新每一帧的身体关节坐标进行预测。
2.1 模型架构
下图展示了MoCoDAD模型的整体架构分为两个主要模块1前向轨迹扩散模型和2运动条件引导自编码器。其中扩散模型使用橙色块表示其任务是根据输入序列帧来估计其中退化噪声从而重建实际的未来帧。作者仿照先前工作AnoDDPM[1]将这一部分设置为基于U-Net的架构。随后前向扩散网络会逐渐收缩然后将生成的姿势序列拓展到与输入序列大小相同的空间尺寸。此外考虑到输入序列的时序维度作者使用时空可分离GCNSTS-GCN[2]来构建U-Net扩散层。 2.2 前向轨迹扩散模型 2.3 运动条件引导自编码器 03. 实验效果
本文在四个标准的视频异常检测数据集上进行了实验分别是UBnormal、HR-UBnormal、HR ShanghaiTech Campus(HR-STC)和HRAvenue。其中UBnormal数据集为计算机合成数据集。其余三个数据集均为在真实监控场景中捕获的视频。模型的评价指标选用ROC-AUC。作者选取了包含MPED-RNN、GEPC、SSMTL和COSKAD等在内的8个常见的视频异常检测算法进行实验对比实验效果如下表所示。 上表中前四种方法由于使用了异常片段的标签进行训练因此不在OCC方法的范畴内很多文献将这类方法称为弱监督方法直接与本文方法进行对比不公平。可以看到MoCoDAD仍然取得了最好的效果相比于同类方法COSKAD本文方法在两个数据集上性能分别提高了3.6%和2.9%。甚至与弱监督方法相比MoCoDAD也有非常明显的优势例如与TimeSFormer相比本文方法的性能基本与其持平但参数仅为288K而TimeSFormer的参数高达121M。 为了进一步分析扩散过程对视频异常检测性能的影响作者对扩散模型生成代数 m 和异常分数 S 的聚合策略进行了消融分析如上图所示图左侧表示四种不同聚合策略得到的重构误差直方图图右测展示了模型检测AUC分数与生成代数之间的相关性其中每条曲线对应不同的聚合统计量。
04. 总结
本文基于扩散模型提出了一种新型的视频异常检测方法MoCoDAD作者强调他们首次将扩散模型技术引入到这一领域通过对人体骨架序列运动情况进行分析MoCoDAD可以高效的理解画面中人体的运动趋势在正常情况下模型就可以根据观察到的历史序列对未来序列进行预测。而在异常情况下模型在异常运动信息的引导下会展现出与真实未来序列的偏差通过这一偏差就可以精确的实现异常动作的检测。此外由于MoCoDAD无需任何像素外观信息仅对人体骨架信息进行计算可以实现轻量化的网络设计和更好的计算效率。
参考
[1] Julian Wyatt, Adam Leach, Sebastian M. Schmon, and Chris G. Willc cks. Anoddpm: Anomaly detection with denoising diffusion probabilistic models using simplex noise. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) Workshops, pages 650–656, June 2022.
[2] Theodoros Sofianos, Alessio Sampieri, Luca Franco, and Fabio Gala so. Space-time-separable graph convolutional network for pose forecas ing. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 11209–11218, 2021. 关于TechBeat人工智能社区
▼ TechBeat(www.techbeat.net)隶属于将门创投是一个荟聚全球华人AI精英的成长社区。 我们希望为AI人才打造更专业的服务和体验加速并陪伴其学习成长。 期待这里可以成为你学习AI前沿知识的高地分享自己最新工作的沃土在AI进阶之路上的升级打怪的根据地 更多详细介绍TechBeat一个荟聚全球华人AI精英的学习成长社区
