网站建设技术列表,网址检测,建设网站应达到的目的和作用,wordpress 付费下载付费阅读多目标跟踪 #xff08;MOT#xff09; 旨在估计视频中对象的边界框和身份。大多数方法通过关联得分高于阈值的检测框来获取身份。检测分数低的物体#xff0c;例如被遮挡的物体#xff0c;被简单地扔掉#xff0c;这带来了不可忽略的真实物体缺失和碎片化的轨迹。为了解决…多目标跟踪 MOT 旨在估计视频中对象的边界框和身份。大多数方法通过关联得分高于阈值的检测框来获取身份。检测分数低的物体例如被遮挡的物体被简单地扔掉这带来了不可忽略的真实物体缺失和碎片化的轨迹。为了解决这个问题我们提出了一种简单、有效且通用的关联方法通过关联几乎每个检测框而不仅仅是高分检测框来进行跟踪。对于低分检测框我们利用它们与 tracklet 的相似性来恢复真实对象并过滤掉背景检测。当应用于 9 种不同的最先进的跟踪器时我们的方法在 1 到 10 分的 IDF1 分数上实现了一致的改进。为了展示 MOT 最先进的性能我们设计了一个简单而强大的跟踪器名为 ByteTrack。我们首次在 MOT17 的测试集上实现了 80.3 MOTA、77.3 IDF1 和 63.1 HOTA在单个 V100 GPU 上以 30 FPS 的运行速度。ByteTrack 还在 MOT20、HiEve 和 BDD100K 跟踪基准测试中实现了最先进的性能。源代码、带有 deploy 版本的预训练模型以及应用于其他跟踪器的教程将在 https://github.com/ifzhang/ByteTrack 上发布。 目录 介绍安装模型动物园数据集准备引文 介绍 目前主流的“Tracking By Detecting”多目标跟踪 MOT 算法主要由检测和嵌入两部分组成。检测旨在检测视频每一帧中的潜在目标。Embedding 将检测到的目标分配并更新到相应的轨道名为 ReID 任务。根据这两部分实现的不同可以分为 SDE 系列和 JDE 系列算法。
SDESeparate Detection and Embedding分离检测和嵌入是一种将检测和嵌入完全分离的算法。最具代表性的是 DeepSORT 算法。这种设计可以使系统毫无差异地适合任何类型的探测器并且可以针对每个部分单独进行改进。但是由于系列过程速度很慢。耗时长是构建实时 MOT 系统的巨大挑战。JDEJoint Detection and Embedding是在共享神经网络中同时学习检测和嵌入并以多任务学习方式设置损失函数。代表性算法是 JDE 和 FairMOT。这种设计可以实现高精度的实时 MOT 性能。
Paddledetection 实现了这两个系列的三种 MOT 算法它们是 SDE 算法的 DeepSORT以及 JDE 算法的 JDEFairMOT。 PP-Tracking 实时 MOT 系统 此外PaddleDetection 还提供 PP-Tracking 实时多目标跟踪系统。 PP-Tracking 是第一个开源的实时多目标跟踪系统它基于 PaddlePaddle 深度学习框架。模型丰富应用广泛部署效率高。
PP 跟踪支持两种模式单相机跟踪 MOT 和多相机跟踪 MTMCT。针对实际业务中的难点和痛点PP-Tracking 提供了行人跟踪、车辆跟踪、多类跟踪、小物体跟踪、交通统计和多摄像头跟踪等各种 MOT 功能和应用。部署方式支持 API 和 GUI 可视化界面部署语言支持 Python 和 C部署平台环境支持 Linux、NVIDIA Jetson 等。 AI studio 公共项目教程 PP-tracking 提供了 AI Studio 公共项目教程。请参阅此教程。 Python 预测和部署 PP-Tracking 支持 Python 预测和部署。请参阅此文档。 C 预测和部署 PP-Tracking 支持 C 预测和部署。请参阅此文档。 GUI 预测和部署 PP-Tracking 支持 GUI 预测和部署。请参阅此文档。 视频来源VisDroneBDD100K 数据集 安装 安装 MOT 的所有相关依赖项 span stylebackground-color:#e6eaefspan stylecolor:#010409span stylecolor:#010409span stylebackground-color:#e6eaefcodepip install lap sklearn motmetrics openpyxl cython_bbox
or
pip install -r requirements.txt
/code/span/span/span/span 笔记
适用于 Windows 的安装 .您可以参考此教程。cython_bboxpip install -e githttps://github.com/samson-wang/cython_bbox.git#eggcython-bbox请确保先安装 ffmpeg在 LinuxUbuntu 平台上您可以通过以下命令直接安装它。apt-get update apt-get install -y ffmpeg 模型动物园 基本模型 深度排序JDE公平 MOT 特征模型 行人头车辆 多类跟踪 MCFairMOT 多目标多相机跟踪 MTMCT 数据集准备 MOT 数据集 PaddleDetection 实现了 JDE 和 FairMOT并使用与它们相同的名为 MIX 的训练数据包括 Caltech Pedestrian、CityPersons、CUHK-SYSU、PRW、ETHZ、MOT17 和 MOT16。前六个作为混合数据集进行训练MOT16 作为评价数据集。如果您想使用这些数据集请遵循他们的许可证。
笔记
多目标跟踪 MOT 数据集始终用于单类别跟踪。DeepSORT、JDE 和 FairMOT 是单类别 MOT 模型。MIX 数据集及其子数据集也是单类行人跟踪数据集。可以认为检测数据集还有其他 ID 地面实况。为了训练更多场景的特征模型更多的数据集也被加工成与 MIX 数据集相同的格式。PaddleDetection Team 还提供车辆跟踪、头部跟踪和更一般的行人跟踪的特征数据集和模型。用户定义的数据集也可以参考 数据准备文档 来准备。多类别 MOT 模型为 [MCFairMOT] mcfairmot/readme_cn.md多类别数据集是 VisDrone 数据集的集成版本。请参考 MCFairMIT 的文档。多目标多相机跟踪 MTMCT 模型是 AIC21 MTMCT CityFlow 多相机车辆跟踪数据集。数据集和模型可以参考 MTMCT 的文档 数据集目录 首先使用以下命令下载 image_lists.zip并将其解压缩到 PaddleDetection/dataset/mot span stylebackground-color:#e6eaefspan stylecolor:#010409span stylecolor:#010409span stylebackground-color:#e6eaefcodewget https://dataset.bj.bcebos.com/mot/image_lists.zip
/code/span/span/span/span 然后使用以下命令下载 MIX 数据集并将其解压缩到 PaddleDetection/dataset/mot span stylebackground-color:#e6eaefspan stylecolor:#010409span stylecolor:#010409span stylebackground-color:#e6eaefcodewget https://dataset.bj.bcebos.com/mot/MOT17.zip
wget https://dataset.bj.bcebos.com/mot/Caltech.zip
wget https://dataset.bj.bcebos.com/mot/CUHKSYSU.zip
wget https://dataset.bj.bcebos.com/mot/PRW.zip
wget https://dataset.bj.bcebos.com/mot/Cityscapes.zip
wget https://dataset.bj.bcebos.com/mot/ETHZ.zip
wget https://dataset.bj.bcebos.com/mot/MOT16.zip
/code/span/span/span/span 最终目录为 span stylebackground-color:#e6eaefspan stylecolor:#010409span stylecolor:#010409span stylebackground-color:#e6eaefcodedataset/mot|——————image_lists|——————caltech.10k.val |——————caltech.all |——————caltech.train |——————caltech.val |——————citypersons.train |——————citypersons.val |——————cuhksysu.train |——————cuhksysu.val |——————eth.train |——————mot16.train |——————mot17.train |——————prw.train |——————prw.val|——————Caltech|——————Cityscapes|——————CUHKSYSU|——————ETHZ|——————MOT16|——————MOT17|——————PRW
/code/span/span/span/span 数据格式 这几个相关数据集具有以下结构 span stylebackground-color:#e6eaefspan stylecolor:#010409span stylecolor:#010409span stylebackground-color:#e6eaefcodeMOT17|——————images| └——————train| └——————test└——————labels_with_ids└——————train
/code/span/span/span/span 这些数据集的注释以统一格式提供。每个图像都有相应的注释文本。给定图像路径可以通过将字符串替换为 来生成注释文本路径。imageslabels_with_ids.jpg.txt
在注释文本中每行描述一个边界框其格式如下 span stylebackground-color:#e6eaefspan stylecolor:#010409span stylecolor:#010409span stylebackground-color:#e6eaefcode[class] [identity] [x_center] [y_center] [width] [height]
/code/span/span/span/span 笔记
class是类的 ID支持单类和多类从 开始对于单类为 。00identity是 from to 的整数 是所有视频或图像 squences 的数据集中对象的实例总数或者如果此框没有标识注释。1num_identitiesnum_identities-1[x_center] [y_center] [width] [height]是中心坐标宽度和高度注意它们是按照图片的宽度/高度进行归一化的所以都是 0 到 1 之间的浮点数。 介绍 PaddleDetection 是基于 PaddlePaddle 的端到端目标检测开发套件以模块化设计实现多种主流目标检测、实例分割、跟踪和关键点检测算法具有网络组件、数据增强和丢失等可配置模块发布多种 SOTA 行业实践模型集成模型压缩和跨平台高性能部署的能力旨在为开发者提供全方位的帮助以更快、更好的方式进行端到端开发。 PaddleDetection 提供目标检测、实例分割、多目标跟踪、关键点检测等图像处理能力。 特征 丰富的模型PaddleDetection 提供了丰富的模型包括 100 预训练模型如目标检测、实例分割、人脸检测等。它涵盖了各种全球竞赛冠军计划。 高度灵活组件设计为模块化。模型架构以及数据预处理管道和优化策略可以通过简单的配置更改轻松定制。 生产就绪从数据增强、构建模型、训练、压缩、分布式、端到端到对云和边缘设备的多架构、多设备部署的全面支持。 高性能基于 PaddlePaddle 的高性能核心训练速度和内存占用优势明显。还支持 FP16 训练和多机训练。 套件结构概述 架构骨干组件数据增强 对象检测 更快的 RCNNFPN级联 RCNN天秤座 RCNN混合任务 RCNNPSS-DetRetinaNetYOLOv3 版本YOLOv4PP-YOLOv1/v2PP-YOLO-小固态硬盘CornerNet-Squeeze 压缩FCOSTTFNetPP-PicoDet 系列DETR 公司可变形 DETRSwin 变压器稀疏 RCNN 实例分段 掩码 RCNN独奏 v2 人脸检测 FaceBoxes 面板BlazeFace 公司BlazeFace-NAS 技术 多目标跟踪 JDE公平 MOT深度排序 关键点检测 HRNetHigherHRNet ResNetvdResNeXtvdSENetRes2Net 公司HRNet沙漏CBNet全球数据网暗网CSP网络VGG的移动网络v1/v3幽灵网高效网BlazeNet 浏览器 常见 同步 BNGroup NormDCNv2非本地 关键点 暗黑姿势 FPN BiFPNBFPHRFPNACFPN 损失 平滑 - L1GIoU/DIoU/CIoUIoUAware 软件 后处理 软NMS矩阵NMS 速度 FP16 训练多机训练 调整照明翻转扩大作物颜色扭曲随机擦除混淆马赛克切割混合网格遮罩自动增强Random Perspective 模型性能概述 各服务器端架构和骨干网的代表性模型在 Tesla V100 上 COCO mAP 和 FPS 的关系。 注意 CBResNet standsfor 它在 COCO 上的 mAP 最高为 53.3%Cascade-Faster-RCNN-CBResNet200vd-FPN Cascade-Faster-RCNN代表 当 COCO mAP 在 PaddleDetection 模型中为 47.8% 时它已优化为 20 FPS 推理速度Cascade-Faster-RCNN-ResNet50vd-DCN PP-YOLO在 COCO 上实现 45.9% 的 mAP在 Tesla V100 上实现 72.9FPS。精度和速度均超过 YOLOv4 PP-YOLO v2是其优化版本在特斯拉 V49.5 上具有 68.9% 的 mAP 和 100FPSPP-YOLO 所有这些模型都可以在 Model Zoo 中获得
COCO mAP 与 Qualcomm Snapdragon 865 上 FPS 的关系 注意
所有数据均在 Qualcomm Snapdragon 8654*A77 4*A55 处理器上测试批处理大小为 1CPU 线程数为 4并在测试中使用 NCNN 库基准测试脚本在 MobileDetBenchmark 上公布PP-PicoDet 和 PP-YOLO-Tiny 由 PaddleDetection 开发发布其他型号未在 PaddleDetection 中提供。 教程 开始使用 安装指南准备数据集PaddleDetection 快速入门 高级教程 参数配置 RCNN 模型的参数配置PP-YOLO 模型的参数配置 模型压缩基于 PaddleSlim) 修剪/定量/蒸馏 推理和部署 导出模型进行推理Paddle 推理 Python 推理C 推理 Paddle-Lite 桨桨服务导出 ONNX 模型推理基准测试 高级开发 新的数据增强新的检测算法 模型动物园 通用对象检测 模型库和基线PP-YOLO 系列PP-PicoDet 系列增强的无锚模型 -- TTFNet移动模型676 类对象检测两阶段实践 PSS-DetSSLD 预训练模型 通用实例分段 独奏 v2 旋转对象检测 S2ANet 关键点检测 PP-TinyPose PP 小姿势HigherHRNetHRNetLiteHRNet 多目标跟踪 PP 跟踪深度排序JDE公平 MOT 垂直领域 人脸检测行人检测车辆检测 比赛计划 Objects365 2019 年挑战赛冠军模型2019 年 Open Images 最佳单一模型 - 对象检测 应用 圣诞肖像自动生成工具Android Fitness 演示
多目标跟踪 MOT 旨在估计视频中对象的边界框和身份。大多数方法通过关联得分高于阈值的检测框来获取身份。检测分数低的物体例如被遮挡的物体被简单地扔掉这带来了不可忽略的真实物体缺失和碎片化的轨迹。为了解决这个问题我们提出了一种简单、有效且通用的关联方法通过关联几乎每个检测框而不仅仅是高分检测框来进行跟踪。对于低分检测框我们利用它们与 tracklet 的相似性来恢复真实对象并过滤掉背景检测。当应用于 9 种不同的最先进的跟踪器时我们的方法在 1 到 10 分的 IDF1 分数上实现了一致的改进。为了展示 MOT 最先进的性能我们设计了一个简单而强大的跟踪器名为 ByteTrack。我们首次在 MOT17 的测试集上实现了 80.3 MOTA、77.3 IDF1 和 63.1 HOTA在单个 V100 GPU 上以 30 FPS 的运行速度。ByteTrack 还在 MOT20、HiEve 和 BDD100K 跟踪基准测试中实现了最先进的性能。源代码、带有 deploy 版本的预训练模型以及应用于其他跟踪器的教程将在 https://github.com/ifzhang/ByteTrack 上发布。 下载链接:
https://docs.voxel51.com/user_guide/dataset_zoo/datasets.html#bdd100k
https://github.com/takaniwa/DSNet/blob/main/datasets/bdd10k.py
