php大型网站开发视频,网站建设 排行,微信开发者工具使用教程整套,网页制作步骤流程Real-Time Open-Vocabulary Object Detection#xff1a;使用Ultralytics框架进行YOLO-World目标检测 前言相关介绍前提条件实验环境安装环境项目地址LinuxWindows 使用Ultralytics框架进行YOLO-World目标检测进行训练进行预测进行验证 扩展目标跟踪设置提示 参考文献 前言 由… Real-Time Open-Vocabulary Object Detection使用Ultralytics框架进行YOLO-World目标检测 前言相关介绍前提条件实验环境安装环境项目地址LinuxWindows 使用Ultralytics框架进行YOLO-World目标检测进行训练进行预测进行验证 扩展目标跟踪设置提示 参考文献 前言 由于本人水平有限难免出现错漏敬请批评改正。更多精彩内容可点击进入Python日常小操作专栏、OpenCV-Python小应用专栏、YOLO系列专栏、自然语言处理专栏或我的个人主页查看基于DETR的人脸伪装检测YOLOv7训练自己的数据集口罩检测YOLOv8训练自己的数据集足球检测YOLOv10训练自己的数据集交通标志检测YOLOv5TensorRT加速YOLOv5模型推理YOLOv5IoU、GIoU、DIoU、CIoU、EIoU玩转Jetson Nano五TensorRT加速YOLOv5目标检测YOLOv5添加SE、CBAM、CoordAtt、ECA注意力机制YOLOv5yolov5s.yaml配置文件解读、增加小目标检测层Python将COCO格式实例分割数据集转换为YOLO格式实例分割数据集YOLOv5使用7.0版本训练自己的实例分割模型车辆、行人、路标、车道线等实例分割使用Kaggle GPU资源免费体验Stable Diffusion开源项目 相关介绍 Ultralytics 官方文档https://docs.ultralytics.com/Ultralytics 源代码地址https://github.com/ultralytics/ultralytics.git.YOLO-World 源代码地址https://github.com/AILab-CVC/YOLO-World.git.YOLO-World 论文地址https://arxiv.org/abs/2401.17270YOLO-World 模型引入了一种基于 Ultralytics YOLOv8 的先进实时方法用于开放词汇检测任务。这项创新可以根据描述性文本检测图像中的任何对象。通过显着降低计算需求同时保持竞争性能YOLO-World 成为众多基于视觉的应用程序的多功能工具。 概述 YOLO-World 解决了传统开放词汇检测模型所面临的挑战这些模型通常依赖于需要大量计算资源的繁琐 Transformer 模型。这些模型对预定义对象类别的依赖也限制了它们在动态场景中的实用性。 YOLO-World 通过开放词汇检测功能重振了 YOLOv8 框架采用视觉语言建模和对广泛数据集的预训练能够以无与伦比的效率擅长在零样本场景中识别各种对象。主要特点 实时解决方案利用 CNN 的计算速度YOLO-World 提供快速的开放词汇检测解决方案满足需要立即结果的行业。效率和性能YOLO-World 在不牺牲性能的情况下大幅削减了计算和资源需求为 SAM 等模型提供了强大的替代方案但计算成本仅为其一小部分从而支持实时应用程序。使用离线词汇进行推理YOLO-World 引入了“先提示后检测”策略采用离线词汇进一步提高效率。这种方法允许使用先验计算的自定义提示包括标题或类别进行编码并存储为离线词汇嵌入从而简化检测过程。由 YOLOv8 提供支持YOLO-World 基于 Ultralytics YOLOv8 构建利用实时目标检测领域的最新进展以无与伦比的准确性和速度促进开放词汇检测。卓越基准测试YOLO-World 在标准基准测试的速度和效率方面优于现有的开放词汇检测器包括 MDETR 和 GLIP 系列展示了 YOLOv8 在单个 NVIDIA V100 GPU 上的卓越功能。多功能应用YOLO-World 的创新方法为多种视觉任务带来了新的可能性与现有方法相比速度提高了几个数量级。 可用型号、支持的任务和操作模式 可用的模型及其特定的预训练权重、它们支持的任务以及它们与各种操作模式例如推理、验证、训练和导出的兼容性用 ✅ 表示支持的模式用 ❌ 表示不支持的模式。 前提条件 熟悉Python 实验环境
matplotlib3.2.2
numpy1.18.5
opencv-python4.6.0
Pillow7.1.2
PyYAML5.3.1
requests2.23.0
scipy1.4.1
torch1.7.0
torchvision0.8.1
tqdm4.64.0
tensorboard2.4.1
pandas1.1.4
seaborn0.11.0安装环境
pip install ultralytics
# 或者
pip install ultralytics -i https://pypi.tuna.tsinghua.edu.cn/simple # 国内清华源下载速度更快项目地址 Ultralytics 源代码地址https://github.com/ultralytics/ultralytics.git Linux
git clone https://github.com/ultralytics/ultralytics.gitCloning into ultralytics...
remote: Enumerating objects: 4583, done.
remote: Counting objects: 100% (4583/4583), done.
remote: Compressing objects: 100% (1270/1270), done.
remote: Total 4583 (delta 2981), reused 4576 (delta 2979), pack-reused 0
Receiving objects: 100% (4583/4583), 23.95 MiB | 1.55 MiB/s, done.
Resolving deltas: 100% (2981/2981), done.Windows 请到https://github.com/ultralytics/ultralytics.git网站下载源代码zip压缩包。 使用Ultralytics框架进行YOLO-World目标检测
进行训练
yolo train modelyolov8s-world.yaml datacoco8.yaml epochs10 imgsz640 batch8 workers1from ultralytics import YOLOWorlddef train():# Load a pretrained YOLOv8s-worldv2 modelmodel YOLOWorld(yolov8s-world.pt)# Train the model on the COCO8 example dataset for 100 epochsresults model.train(datacoco8.yaml, epochs10, imgsz640, batch1, workers1)# Run inference with the YOLOv8n model on the bus.jpg imageresults model(imgs/test.png, saveTrue)if __name____main__:train()进行预测
yolo predict modelyolov8s-world.pt sourceimgs/test.png imgsz640from ultralytics import YOLOWorld# Initialize a YOLO-World model
model YOLOWorld(yolov8s-world.pt) # or select yolov8m/l-world.pt for different sizes# Execute inference with the YOLOv8s-world model on the specified image
results model.predict(imgs/test.png)# Show results
results[0].show()进行验证
yolo val modelyolov8s-world.pt datacoco8.yaml imgsz640 batch1 workers1from ultralytics import YOLOdef val():# Create a YOLO-World modelmodel YOLO(yolov8s-world.pt) # or select yolov8m/l-world.pt for different sizes# Conduct model validation on the COCO8 example datasetmetrics model.val(datacoco8.yaml, batch1, imgsz640, device0,workers1)if __name____main__:val()扩展
目标跟踪
使用 YOLO-World 模型对视频/图像进行对象跟踪简化如下
yolo track modelyolov8s-world.pt imgsz640 sourcevideo/test.mp4from ultralytics import YOLO# Create a YOLO-World model
model YOLO(yolov8s-world.pt) # or select yolov8m/l-world.pt for different sizes# Track with a YOLO-World model on a video
results model.track(sourcevideo/test.mp4,saveTrue)设置提示 YOLO-World 框架允许通过自定义提示动态指定类使用户能够根据自己的特定需求定制模型而无需重新训练。此功能对于使模型适应新领域或最初不属于训练数据的特定任务特别有用。通过设置自定义提示用户基本上可以引导模型将注意力集中在感兴趣的对象上从而增强检测结果的相关性和准确性。 例如如果您的应用程序只需要检测“人”和“巴士”对象则可以直接指定这些类
from ultralytics import YOLO# Initialize a YOLO-World model
model YOLO(yolov8s-world.pt) # or choose yolov8m/l-world.pt# Define custom classes
model.set_classes([person, bus])# Execute prediction for specified categories on an image
results model.predict(imgs/test.png)# Show results
results[0].show()还可以在设置自定义类后保存模型。通过这样做可以创建专门针对您的特定用例的 YOLO-World 模型版本。此过程将您的自定义类定义直接嵌入到模型文件中使模型可以与您指定的类一起使用而无需进一步调整。请按照以下步骤保存和加载自定义 YOLOv8 模型
首先加载 YOLO-World 模型为其设置自定义类并保存
# 首先加载 YOLO-World 模型为其设置自定义类并保存
from ultralytics import YOLO# Initialize a YOLO-World model
model YOLO(yolov8s-world.pt) # or select yolov8m/l-world.pt# Define custom classes
model.set_classes([teddy bears, bus])# Save the model with the defined offline vocabulary
model.save(custom_yolov8s.pt)保存后custom_yolov8s.pt 模型的行为与任何其他预训练的 YOLOv8 模型类似但有一个关键区别它现在经过优化仅检测您定义的类。这种定制可以显着提高您特定应用场景的检测性能和效率。
# 保存后custom_yolov8s.pt 模型的行为与任何其他预训练的 YOLOv8 模型类似但有一个关键区别它现在经过优化仅检测您定义的类。这种定制可以显着提高您特定应用场景的检测性能和效率。from ultralytics import YOLO# Load your custom model
model YOLO(custom_yolov8s.pt)# Run inference to detect your custom classes
results model.predict(imgs/test.png)# Show results
results[0].show()使用自定义词汇表进行保存的好处 效率通过关注相关对象来简化检测过程减少计算开销并加快推理速度。灵活性允许模型轻松适应新的或利基检测任务无需进行大量的再训练或数据收集。简单性无需在运行时重复指定自定义类从而简化部署使模型可以直接使用其嵌入的词汇表。性能通过将模型的注意力和资源集中在识别定义的对象上提高指定类别的检测准确性。 这种方法提供了一种强大的方法可以为特定任务定制最先进的对象检测模型使高级人工智能更容易访问并适用于更广泛的实际应用。 参考文献
[1] Ultralytics 源代码地址https://github.com/ultralytics/ultralytics.git. [2] Ultralytics Docshttps://docs.ultralytics.com/ 由于本人水平有限难免出现错漏敬请批评改正。更多精彩内容可点击进入Python日常小操作专栏、OpenCV-Python小应用专栏、YOLO系列专栏、自然语言处理专栏或我的个人主页查看基于DETR的人脸伪装检测YOLOv7训练自己的数据集口罩检测YOLOv8训练自己的数据集足球检测YOLOv10训练自己的数据集交通标志检测YOLOv5TensorRT加速YOLOv5模型推理YOLOv5IoU、GIoU、DIoU、CIoU、EIoU玩转Jetson Nano五TensorRT加速YOLOv5目标检测YOLOv5添加SE、CBAM、CoordAtt、ECA注意力机制YOLOv5yolov5s.yaml配置文件解读、增加小目标检测层Python将COCO格式实例分割数据集转换为YOLO格式实例分割数据集YOLOv5使用7.0版本训练自己的实例分割模型车辆、行人、路标、车道线等实例分割使用Kaggle GPU资源免费体验Stable Diffusion开源项目
