网站开发行业知识新闻,郑州专业做网站企业,使用wordpress开发一个页面跳转,北京建设工程招标公告网站摘要#xff1a;开发高效的零售柜商品识别系统对于智能零售领域的进步至关重要。本文深入介绍了如何运用深度学习技术开发此类系统#xff0c;并分享了全套实现代码。系统采用了领先的YOLOv8算法#xff0c;并与YOLOv7、YOLOv6、YOLOv5进行了性能比较#xff0c;呈现了诸如…摘要开发高效的零售柜商品识别系统对于智能零售领域的进步至关重要。本文深入介绍了如何运用深度学习技术开发此类系统并分享了全套实现代码。系统采用了领先的YOLOv8算法并与YOLOv7、YOLOv6、YOLOv5进行了性能比较呈现了诸如mAP、F1 Score等关键性能指标的对比。文章详细阐述了YOLOv8的工作原理并提供了相关的Python代码、训练数据集以及一个基于PySide6的优雅用户界面。
该系统能够准确地在图像中识别和分类零售商品支持从单张图片、图像文件夹、视频文件以及实时摄像头流中进行商品检测。它具备热力图分析、检测框类别显示、商品种类统计、可调整的置信度和IOU阈值、结果可视化等功能。系统还包括一个基于SQLite的用户管理界面支持用户注册与登录、模型选择以及界面定制。本文的目标是为深度学习初学者提供一份实用的指导文章末尾提供了代码和数据集的下载链接以便读者下载使用。本文结构如下 文章目录 前言1.数据集介绍2. 系统界面效果3. YOLOv8算法原理4. 代码简介4.1 模型预测4.2 模型训练4.3 YOLOv5、YOLOv6、YOLOv7和YOLOv8对比4.4 代码实现 5. 零售柜商品检测软件实现5.1 系统设计思路5.2 登录与账户管理 下载链接6. 总结与展望结束语 ➷点击跳转至文末所有涉及的完整代码文件下载页☇ 基于深度学习的零售柜商品检测软件演示与介绍YOLOv8/v7/v6/v5模型PySide6界面训练数据集 前言 在当今社会随着人工智能技术的飞速发展智能零售已成为零售行业变革的重要方向。零售柜商品检测软件的出现是智能零售领域中的一大创新它利用深度学习算法如YOLO1You Only Look Once系列等实现了对零售柜内商品的快速、准确检测极大地提高了零售业的运营效率和顾客的购物体验。这一技术的研究与应用不仅能够实现零售柜内商品的自动化管理降低人力成本还能通过实时的商品监控优化库存管理和商品布局提升销售效率。 国内外的研究者在智能零售领域均进行了大量的探索。近年来基于YOLO的算法因其高效的检测速度和良好的准确率成为商品检测领域的热门研究方向。从YOLOv5到YOLOv8每一次迭代都在尝试解决更复杂的检测场景提高在各种环境下的鲁棒性和准确性。同时新的算法如EfficientDet等也被提出用于改进检测性能和速度。 在YOLO系列算法之外其他一些算法如SSDSingle Shot MultiBox Detector和Faster R-CNN也在商品检测领域中得到了应用。这些算法各有优势例如Faster R-CNN在检测准确度上表现出色而SSD则在检测速度上有较好的表现。随着技术的进步最新的算法版本如YOLOv8不仅在速度和准确性上取得了平衡还通过引入新的网络架构和训练技巧如自适应锚框机制和跨阶段特征融合进一步提升了在复杂场景下的检测性能。 数据集的发展对于提升商品检测技术的准确性和鲁棒性至关重要。早期研究者们主要依赖于如PASCAL VOC和ImageNet这样的通用数据集来训练和测试他们的模型。然而这些数据集往往在商品多样性和真实零售环境场景的覆盖上存在限制。为了解决这一问题近年来出现了更专注于零售场景的数据集如SKU-110K和GroZi-120它们提供了大量的零售商品图片包括在架商品的多角度拍摄这极大地促进了商品检测技术在实际应用中的性能提升。 尽管如此零售柜商品检测仍面临着一系列技术挑战例如如何准确识别和分类在复杂背景下由于遮挡、光线变化或商品堆叠而导致的视觉不清晰的商品。此外随着零售柜种类的增多如何高效地扩展模型以适应更多种类的商品也是当前研究需要解决的问题。 本博客所做的工作是基于YOLOv8算法构建一个零售柜商品检测软件呈现系统界面的效果深入讲解其算法原理提供代码实现并分享系统的开发过程。希望本博客的分享能给予读者一定的启示推动更多的相关研究。本文的主要贡献如下
采用最先进的YOLOv8算法进行零售柜商品检测我们详细介绍了如何应用当前最先进的目标检测算法—YOLOv8—来实现零售柜商品的高效准确检测。相较于早期的深度学习模型如CNN和ResNetYOLOv8在效率和精准度上均有显著提升。本文不仅对YOLOv8算法进行了深入研究还与YOLOv72、YOLOv63、YOLOv54等前序版本进行了对比分析展示了YOLOv8在零售柜商品检测上的优势。利用PySide6实现用户友好的软件界面通过运用Python的PySide6库我们开发了一个界面友好、操作直观的零售柜商品检测软件系统。该系统不仅提升了用户的操作便捷性还促进了YOLOv8算法在实际零售环境中的应用推动了零售柜商品检测技术的进一步实践和普及。集成登录管理功能以提升系统安全性我们在系统中设计了登录管理功能确保用户在使用系统前完成身份验证。这一措施不仅加强了系统的安全性也为将来引入更多个性化和高级功能奠定了基础。对YOLOv8模型性能进行全面评估本文对YOLOv8算法的性能进行了全面的研究包括模型的精确度、召回率等关键性能指标的评估以及模型在不同环境条件下的表现分析。这些分析工作为更深入理解YOLOv8算法提供了坚实的基础并为未来的优化和改进工作指明了方向。提供完整的数据集和代码资源包为了帮助读者更好地理解和应用YOLOv8算法在零售柜商品检测中的实践操作我们分享了完整的数据集和代码资源包。这些资源不仅包括用于模型训练和测试的详尽数据集还有实现零售柜商品检测功能的完整代码。通过这些资源读者可以轻松复现文中的实验结果并在此基础上进行进一步的研究和开发工作。 1.数据集介绍 在本篇博客中我们将深入探讨用于零售柜商品检测软件开发的关键基石——数据集的构建与分析。这一数据集是经过精心准备和组织的旨在支持和推动零售环境中商品检测技术的前沿研究。数据集的全面性和质量直接关系到后续模型训练的效果和实用性因此我们在此详细介绍其特征和构成。 我们的数据集总计包含5422张图像划分为3796张训练集图片、1084张验证集图片以及542张测试集图片。这样细致的划分确保了模型能在足够大的数据量上进行训练同时还有充分的数据进行验证和测试以评估模型的泛化能力。在预处理阶段所有图像均经过自动定向处理以消除由于不同拍摄设备导致的方向不一致性并移除了EXIF方向信息以确保图像的统一性。此外图像都被调整到了640x640的统一分辨率采用拉伸的方式使图像符合YOLOv8等对象检测算法输入的标准尺寸尽管这一处理可能会引起一定程度的形状失真但是基于深度学习的模型通常对此具备容忍度。 数据集的多样性和真实性对于训练高效的检测模型至关重要。根据我们的数据集分布图分析类别实例的分布显示出显著的不平衡这种现象在实际的零售环境中是常见的因为某些商品的流通量和存储量远大于其他商品。这提示我们可能需要采取特定的数据增强或重采样策略来避免模型在训练过程中对频繁出现的类别过度拟合同时提高对少数类别商品的检测能力。 边界框的位置分布热力图显示商品的定位在图像中心区域的集中趋势非常明显这可能反映了零售柜中商品摆放的实际情况。为了让检测模型适应各种位置的商品检测我们可能需要通过数据增强技术如随机裁剪和平移来增加模型对图像边缘区域商品的识别能力。此外边界框形状的分布关系表明大多数商品具有一定的宽高比这为我们优化模型中锚框的尺寸提供了直观的依据。博主使用的类别代码如下
Chinese_name {32-2: 32-2, 3jia2: 32, aerbeisi: 阿尔卑斯, anmuxi: 安慕希, aoliao: 奥利奥,asamu: 阿萨姆, baicha: 白茶, baishikele: 百事可乐, baishikele-2: 百事可乐-2,baokuangli: 宝矿力, binghongcha: 冰红茶, bingqilinniunai: 冰淇淋牛奶,bingtangxueli: 冰糖雪梨, buding: 布丁, chacui: 茶萃, chapai: 茶π, chapai2: 茶π-2,damaicha: 大麦茶, daofandian1: 到饭点-1, daofandian2: 到饭点-2, daofandian3: 到饭点-3,daofandian4: 到饭点-4, dongpeng: 东鹏特饮, dongpeng-b: 东鹏特饮-b, fenda: 芬达,gudasao: 顾大嫂, guolicheng: 果粒橙, guolicheng2: 果粒橙-2, haitai: 海苔,haochidian: 好吃点, haoliyou: 好丽友, heweidao: 合味道, heweidao2: 合味道-2,heweidao3: 合味道-3, hongniu: 红牛, hongniu2: 红牛-2, hongshaoniurou: 红烧牛肉,jianjiao: 尖叫, jianlibao: 健力宝, jindian: 金典, kafei: 咖啡, kaomo_gali: 烤馍-咖喱,kaomo_jiaoyan: 烤馍-椒盐, kaomo_shaokao: 烤馍-烧烤, kaomo_xiangcon: 烤馍-香葱, kebike: 可比克,kele: 可乐, kele-b: 可乐-b, kele-b-2: 可乐-b-2, laotansuancai: 老坛酸菜,liaomian: 撩面, libaojian: 力保健, lingdukele: 零度可乐, lingdukele-b: 零度可乐-b,liziyuan: 李子园, lujiaoxiang: 鹿角巷,lujikafei: 露吉咖啡, luxiangniurou: 卤香牛肉, maidong: 脉动, mangguoxiaolao: 芒果小酪,meiniye: 梅尼耶, mengniu: 蒙牛,mengniuzaocan: 蒙牛早餐奶,moliqingcha: 茉莉清茶, nfc: NFC果汁, niudufen: 牛肚粉, niunai: 牛奶,nongfushanquan: 农夫山泉, qingdaowangzi-1: 青岛王子-1,qingdaowangzi-2: 青岛王子-2,qinningshui: 沁柠水, quchenshixiangcao: 屈臣氏香草味苏打水, rancha-1: 燃茶, rancha-2: 燃茶,rousongbing: 肉松饼,rusuanjunqishui: 乳酸菌汽水,suanlafen: 酸辣粉,suanlaniurou: 酸辣牛肉, taipingshuda: 太平梳打, tangdaren: 汤达人, tangdaren2: 汤达人-2,tangdaren3: 汤达人-3, ufo: UFO,ufo2: UFO-2,wanglaoji: 王老吉, wanglaoji-c: 王老吉-c,wangzainiunai: 旺仔牛奶, weic: 维C, weitanai: 维他奶, weitanai2: 维他奶-2,weitanaiditang: 维他奶低糖,weitaningmeng: 维他柠檬, weitaningmeng-bottle: 维他柠檬-瓶装,weiweidounai: 维他豆奶, wuhounaicha: 午后奶茶, wulongcha: 乌龙茶, xianglaniurou: 香辣牛肉,xianguolao: 鲜果捞,xianxiayuban: 鲜虾鱼板面, xuebi: 雪碧, xuebi-b: 雪碧-b,xuebi2: 雪碧-2, yezhi: 椰汁, yibao: 怡宝, yida: 益达, yingyangkuaixian: 营养快线,yitengyuan: 伊藤园,youlemei: 优乐美, yousuanru: 优酸乳, youyanggudong: 有养谷咚,yuanqishui: 元气水, zaocanmofang: 早餐魔方, zihaiguo: 自嗨锅}最后我们提供的数据集不仅具有高质量的图像和精准的标注还包括了图像增强后的版本这些增强版本通过模拟不同的拍摄条件进一步提升了模型的鲁棒性。我们相信通过这样一个综合性的数据集的使用能够显著推动零售柜商品检测软件的开发和优化同时也为整个智能零售行业的技术进步贡献力量。
2. 系统界面效果 系统以PySide6作为GUI库提供了一套直观且友好的用户界面。下面我将详细介绍各个主要界面的功能和设计。
1系统提供了基于SQLite的注册登录管理功能。用户在首次使用时需要通过注册界面进行注册输入用户名和密码后系统会将这些信息存储在SQLite数据库中。注册成功后用户可以通过登录界面输入用户名和密码进行登录。这个设计可以确保系统的安全性也为后续添加更多个性化功能提供了可能性。 2在主界面上系统提供了支持图片、视频、实时摄像头和批量文件输入的功能。用户可以通过点击相应的按钮选择要进行零售柜商品检测的图片或视频或者启动摄像头进行实时检测。在进行零售柜商品检测时系统会实时显示检测结果并将检测记录存储在数据库中。 3此外系统还提供了一键更换YOLOv8/v5模型的功能。用户可以通过点击界面上的更换模型按钮选择不同的YOLOv8模型进行检测。与此同时系统附带的数据集也可以用于重新训练模型以满足用户在不同场景下的检测需求。 4为了提供更个性化的使用体验这里系统支持界面修改用户可以自定义图标、文字等界面元素。例如用户可以根据自己的喜好选择不同风格的图标也可以修改界面的文字描述。 3. YOLOv8算法原理 YOLOv8是最新一代的YOLOYou Only Look Once系列目标检测算法它在YOLOv7的基础上进一步优化和改进以提高检测的准确性和速度。YOLOv8算法继承了YOLO系列的设计理念即“单次查看”通过单次前向传播即可预测出图像中的目标位置和类别。YOLOv8主要由三个部分组成主干网络Backbone、颈部网络Neck以及头部网络Head每一部分都对算法的性能起到至关重要的作用。 YOLOv8的主干网络采用了CSPDarknet结构这一结构通过引入交叉级联cross-stage partial connections来减少计算量并保持网络深度和特征学习的能力。CSP结构使网络在保持深度和复杂度的同时能够有效减少计算资源的消耗使得模型更加高效。此外主干网络还融入了SPPFSpatial Pyramid Pooling Fast模块该模块通过不同尺度的池化层来提取多尺度的特征增强模型对于不同尺寸目标的识别能力。 在颈部网络方面YOLOv8引入了FPNFeature Pyramid Networks和PANPath Aggregation Network结构这两种结构都旨在聚合不同尺度的特征图以此来提高小目标的检测性能。FPN结构通过自顶向下的方式将高层次的语义信息传递给低层次的特征图而PAN则通过自底向上的方式强化了低层次特征图的细节信息两者的结合使得YOLOv8能够更准确地检测出图像中的所有目标。 YOLOv8的头部网络设计上采用了解耦合头Decoupled Head的策略这种设计使得分类和定位任务能够独立优化提高了模型的灵活性和精确度。此外YOLOv8还引入了Anchor-free的机制与传统的基于Anchor的检测方法不同Anchor-free的方法直接预测目标的中心点和宽高从而避免了与Anchor选择相关的复杂性和局限性。 YOLOv8在损失函数设计上引入了CIoU Loss和Distribution Focal Loss这两种损失函数都旨在改善模型在训练过程中的优化效果进一步提升模型的性能。CIoU Loss是一种改进的IoU损失函数它考虑了预测框和真实框之间的重叠程度、中心点距离以及长宽比的匹配度从而更加精确地指导模型在训练过程中的框回归任务。而Distribution Focal Loss则针对类别不平衡问题通过减少易分类样本的权重增加难分类样本的权重从而使得模型在训练时更加关注那些难以识别的目标。 综上所述YOLOv8算法通过在网络结构设计和损失函数上的创新实现了目标检测的高效和准确。这些创新不仅提高了算法对各种尺寸和复杂度目标的检测能力还优化了模型训练过程使得YOLOv8成为目前最先进的目标检测算法之一。 4. 代码简介 在本节中我们将详细介绍如何使用YOLOv8进行零售柜商品检测的代码实现。代码主要分为两部分模型预测和模型训练。
4.1 模型预测 在模型预测部分首先导入了OpenCV库和YOLO模型。OpenCV库是一个开源的计算机视觉和机器学习软件库包含了众多的视觉处理函数使用它来读取和处理图像。YOLO模型则是要用到的目标检测模型。
import cv2
from ultralytics import YOLO 接着加载自行训练好的YOLO模型。这个模型是在大量的图像上预训练得到的可以直接用于目标检测任务。
model.load_model(abs_path(weights/best-yolov8n.pt, path_typecurrent)) 然后使用OpenCV读取了一个图像文件这个图像文件作为要进行目标检测的图像输入。
img_path abs_path(test_media/test.png)
image cv_imread(img_path) 在读取了图像文件之后就可以使用加载的模型对图像进行预测了。下图为预测结果。
pred, superimposed_img model.predict(pre_img)4.2 模型训练 这里我们开始训练和测试自己的数据集在cmd终端或pycharm中运行run_train_model.py进行训练以下是训练过程中的结果截图。YOLOv8的损失函数是其性能的关键部分它指导模型学习如何准确地检测和分类对象。 以下表格详细介绍了YOLOv8模型训练中使用的一些重要超参数及其设置
超参数设置说明学习率lr00.01决定了模型权重调整的步长大小在训练初期有助于快速收敛。学习率衰减lrf0.01控制训练过程中学习率的降低速度有助于模型在训练后期细致调整。动量momentum0.937加速模型在正确方向上的学习并减少震荡加快收敛速度。权重衰减weight_decay0.0005防止过拟合通过在损失函数中添加正则项减少模型复杂度。热身训练周期warmup_epochs3.0初始几个周期内以较低的学习率开始训练逐渐增加到预定学习率。批量大小batch16每次迭代训练中输入模型的样本数影响GPU内存使用和模型性能。输入图像大小imgsz640模型接受的输入图像的尺寸影响模型的识别能力和计算负担。 在这个博客章节中我们将深入探索如何利用现代深度学习技术训练一个强大的视觉识别模型专注于零售柜商品的检测。我们的工具是YOLOv8这是一个高效的对象检测算法能够实现实时检测而且对于实际应用场景具有极好的适应性。让我们开始从代码层面分析这个过程。 我们首先导入了os、torch和yaml三个库分别用于操作系统交互、深度学习计算和配置文件处理。这些是构建现代机器学习应用的基础工具。我们接着通过ultralytics库导入了YOLO类这是我们训练模型的核心。为了确保我们的代码能在各种硬件上运行我们通过检查torch.cuda.is_available()来决定模型是在CPU还是GPU上训练这一步关乎到后续训练的效率。
import osimport torch
import yaml
from ultralytics import YOLO # 导入YOLO模型
from QtFusion.path import abs_path
device cuda:0 if torch.cuda.is_available() else cpu接着我们定义了工作进程的数量和批处理大小。这些参数影响数据加载的速度和内存使用量。我们使用abs_path函数来获得配置文件的绝对路径确保无论代码运行在什么环境中路径都是准确无误的。路径的转换还涉及到不同操作系统之间的兼容性处理这是跨平台软件开发中常见的实践。
workers 1
batch 8
data_name Goods
data_path abs_path(fdatasets/{data_name}/{data_name}.yaml, path_typecurrent) # 数据集的yaml的绝对路径
unix_style_path data_path.replace(os.sep, /)紧接着通过yaml.load函数我们读取了配置文件的内容并在需要时更新了其中的path项。这是为了确保当我们在不同的文件夹或者服务器上运行代码时模型能够找到正确的数据路径。
# 获取目录路径
directory_path os.path.dirname(unix_style_path)
# 读取YAML文件保持原有顺序
with open(data_path, r) as file:data yaml.load(file, Loaderyaml.FullLoader)
# 修改path项
if path in data:data[path] directory_path# 将修改后的数据写回YAML文件with open(data_path, w) as file:yaml.safe_dump(data, file, sort_keysFalse)最后我们初始化模型并启动训练过程。YOLO类用于加载预训练的模型权重准备模型进行检测任务。通过调用train方法我们传入了数据集的路径、设备类型、工作线程数、图像尺寸、训练周期和批处理大小以及训练任务的名称。train方法将执行整个训练过程包括前向传播、损失计算、反向传播和参数更新。
model YOLO(abs_path(./weights/yolov5nu.pt, path_typecurrent), taskdetect) # 加载预训练的YOLOv8模型
# model YOLO(./weights/yolov5.yaml, taskdetect).load(./weights/yolov5nu.pt) # 加载预训练的YOLOv8模型
# Training.
results model.train( # 开始训练模型datadata_path, # 指定训练数据的配置文件路径devicedevice, # 自动选择进行训练workersworkers, # 指定使用2个工作进程加载数据imgsz640, # 指定输入图像的大小为640x640epochs120, # 指定训练100个epochbatchbatch, # 指定每个批次的大小为8nametrain_v5_ data_name # 指定训练任务的名称
)model YOLO(abs_path(./weights/yolov8n.pt), taskdetect) # 加载预训练的YOLOv8模型
results2 model.train( # 开始训练模型datadata_path, # 指定训练数据的配置文件路径devicedevice, # 自动选择进行训练workersworkers, # 指定使用2个工作进程加载数据imgsz640, # 指定输入图像的大小为640x640epochs120, # 指定训练100个epochbatchbatch, # 指定每个批次的大小为8nametrain_v8_ data_name # 指定训练任务的名称
)在深度学习模型的训练过程中损失函数和评估指标的变化曲线对于理解模型的性能和学习进度至关重要。本部分博客将对YOLOv8模型在零售柜商品检测任务上的训练损失和性能指标进行详细分析。 首先训练和验证的边界框损失box_loss快速下降并趋于平稳这说明模型在定位对象的边界框方面学习得相当有效。在初期损失值较高表明模型开始时对数据的拟合不够好。但随着训练的进行这一值迅速下降并在后期趋于稳定。这种快速下降后的稳定趋势通常表示模型已经基本掌握了从数据中提取有效特征的能力并能准确预测对象的边界框。 接下来是分类损失cls_loss这一指标衡量的是模型在分类对象方面的性能。从图中我们可以看到分类损失在训练和验证过程中都表现出类似的快速下降趋势这表明模型在区分不同类型的对象上也表现出色。分类损失的下降意味着模型能够越来越好地识别出图片中的具体类别。再来看定向边界框损失dfl_loss这是YOLOv8特有的用于评估模型对目标方向的预测准确性。从图中可见该损失也随着训练迅速下降这说明模型在预测对象的方向上也取得了显著进步。 最后mAPmean Average Precision是衡量模型整体性能的关键指标它考虑了不同置信度阈值下模型的精确度和召回率。mAP50指的是在IOUIntersection Over Union为0.5时的mAP值而mAP50-95则是在IOU从0.5到0.95之间每隔0.05取值时mAP的平均值。我们看到这两个指标都呈现出稳步上升的趋势显示了模型具有较高的检测质量并且对于各种重叠程度的对象都能保持较好的识别能力。 在深入分析和评估机器学习模型的性能时F1分数是一个极为重要的指标。它是精确率和召回率的调和平均数提供了一个综合衡量模型精确性和鲁棒性的方法。 在图中我们可以看到多条曲线每一条代表了一个类别的F1分数随置信度阈值变化的情况。图中的深色曲线代表所有类别的平均F1分数而明显的一点是在约0.6的置信度阈值处模型达到了0.92的F1分数。这是一个相当高的分数表明模型在这一置信度水平下对于大多数类别都有着较高的精确率和召回率平衡。 分析这些曲线我们注意到随着置信度阈值的增加大多数类别的F1分数先是迅速提升然后达到峰值之后逐渐降低。这个趋势反映出当模型对其预测更加自信时其预测的精确性通常会提高但同时可能会牺牲一些召回率因为较高的置信度阈值可能会排除一些正确的预测。因此选择最佳的置信度阈值是一个权衡过程目的是在保持高精确率的同时尽可能地提高召回率。 从图中我们还可以观察到不同的类别之间的F1分数表现出了显著的差异。这种现象指出模型对某些类别的识别更为准确而对另外一些类别则不那么精准。这可能是由于数据集中某些类别的样本数量更多或者类别之间的特征差异更为明显。总的来说F1-Confidence曲线为我们提供了一种直观的工具来评估和调整我们的模型。通过选择一个合适的置信度阈值我们可以确保模型在实际应用中达到最佳的性能平衡点。
4.3 YOLOv5、YOLOv6、YOLOv7和YOLOv8对比
1实验设计 本实验旨在评估和比较YOLOv5、YOLOv6、YOLOv7和YOLOv8几种模型在零售柜商品目标检测任务上的性能。为了实现这一目标博主分别使用使用相同的数据集训练和测试了这四个模型从而可以进行直接的性能比较。该数据集包含零售柜商品的图像。本文将比较分析四种模型旨在揭示每种模型的优缺点探讨它们在工业环境中实际应用的场景选择。
模型图像大小 (像素)mAPval 50-95CPU ONNX 速度 (毫秒)A100 TensorRT 速度 (毫秒)参数数量 (百万)FLOPs (十亿)YOLOv5nu64034.373.61.062.67.7YOLOv8n64037.380.40.993.28.7YOLOv6N64037.5--4.711.4YOLOv7-tiny64037.4--6.0113.1
2度量指标
F1-ScoreF1-Score是精确率Precision和召回率Recall的调和平均值。精确率是指模型正确识别的正例与所有识别为正例的案例之比而召回率是指模型正确识别的正例与所有实际正例之比。F1-Score对于不平衡的数据集或者需要同时考虑精确率和召回率的任务特别重要。mAPMean Average PrecisionmAP是衡量模型在多个类别上平均检测准确度的指标。它计算了模型在所有类别上的平均精度是目标检测领域中常用的性能度量。
名称YOLOv5nuYOLOv6nYOLOv7-tinyYOLOv8nmAP0.9430.9700.9850.972F1-Score0.890.940.970.92
3实验结果分析 在目标检测领域YOLO系列算法因其出色的性能和快速的检测速度而广受欢迎。本次实验中我们将YOLOv5nu、YOLOv6n、YOLOv7-tiny和YOLOv8n这四个版本在同一数据集上进行了对比测试主要关注它们在平均精度mAP和F1-Score这两个关键性能指标上的表现。 从mAP的角度来看YOLOv7-tiny以0.985的得分表现最佳显示出在整个数据集中平均检测准确率方面的优势。这一高分可能归功于其更高效的特征提取和优化的锚点配置这使得YOLOv7-tiny在处理各种尺寸的对象时都能保持高度的灵活性和准确性。YOLOv6n和YOLOv8n的表现也很接近mAP分别为0.970和0.972说明这两个版本在不断优化中已经达到了相似的性能水平。而YOLOv5nu以0.943的mAP稍低这可能是因为它作为一个较早的版本在特征学习和适应性方面相比后续版本有所不足。 在F1-Score的评估中YOLOv7-tiny同样以0.97的分数领先这一结果表明它在精确度与召回率之间取得了最佳平衡。F1-Score较高意味着模型在识别正确的目标上不仅准确而且遗漏率较低。这对于实际应用尤为重要因为它意味着模型能够可靠地识别出更多的正例同时保持误报率低。YOLOv6n和YOLOv8n的F1得分分别为0.94和0.92显示出较好的性能而YOLOv5nu以0.89的得分略低。这可能反映出YOLOv5nu在处理特定类别或特定场景时召回率或精确度有待提高。 综合考虑各个版本的YOLO在性能上都有各自的优势和不足。YOLOv7-tiny在这一系列的实验中展现出了最为突出的性能这可能得益于其在网络架构、训练策略和锚点选择上的综合优化。而YOLOv5nu尽管在性能上稍逊一筹但在资源受限或对速度要求更高的场景下它的简洁性可能仍然是一个重要考虑因素。 这些实验结果提供了宝贵的参考帮助我们在实际应用中选择最合适的YOLO版本。同时它们也指出了未来研究的方向比如进一步优化网络结构或者调整训练策略以提升模型在特定任务上的性能。通过精细调优和深入研究我们有望在准确性、速度和计算资源之间找到更好的平衡点。
4.4 代码实现 在这篇博客中我们要探讨的是如何使用Python结合YOLOv8模型和QtFusion工具包实现一个实时的物体检测系统。这个系统的目标是通过摄像头实时捕捉图像使用YOLOv8模型对图像中的物体进行检测并在图形用户界面(GUI)上展示检测结果。这种应用在零售分析、安全监控等众多领域都有着广泛的应用前景。
1导入必要的模块和配置 首先为了处理图像和视频流我们需要引入一系列的库。sys库让我们可以处理程序外部的参数time库用于计时评估我们模型处理单帧图像所需的时间而cv2即OpenCV库是一个功能强大的图像处理库。为了构建我们的GUI我们使用PySide6这是一个提供绑定到Qt库的Python库适用于创建跨平台的应用程序。QtFusion提供了一些便捷的工具使得在Python中使用Qt变得更加直观和方便。
import sys # 导入sys模块用于访问与Python解释器相关的变量和函数
import time # 导入time模块用于获取当前时间import cv2 # 导入OpenCV库用于图像处理
from QtFusion.widgets import QMainWindow # 从QtFusion库导入FBaseWindow类用于创建主窗口
from QtFusion.handlers import MediaHandler # 从QtFusion库导入MediaHandler类用于处理媒体流
from QtFusion.utils import drawRectBox, get_cls_color # 从QtFusion库导入drawRectBox函数用于在图像上绘制矩形框
from PySide6 import QtWidgets, QtCore # 导入PySide6库的QtWidgets和QtCore模块用于创建GUI
from QtFusion.path import abs_path
from QtFusion.config import QF_Config
from YOLOv8Model import YOLOv8Detector # 从YOLOv8Model模块导入YOLOv8Detector类用于物体检测
from datasets.Goods.label_name import Label_listQF_Config.set_verbose(False)2创建主窗口 我们的系统是围绕MainWindow类构建的它继承自QMainWindow是我们GUI的核心。我们设置了主窗口的尺寸并初始化了一个标签控件用于显示图像。键盘事件的处理函数让用户可以通过按键来控制应用如按下’Q’键退出程序增强了用户的交互体验。
class MainWindow(QMainWindow): # 定义MainWindow类继承自FBaseWindow类def __init__(self): # 定义构造函数super().__init__() # 调用父类的构造函数self.resize(850, 500) # 设置窗口的大小self.label QtWidgets.QLabel(self) # 创建一个QLabel对象用于显示图像self.label.setGeometry(0, 0, 850, 500) # 设置QLabel对象的几何形状def keyPressEvent(self, event): # 定义keyPressEvent函数用于处理键盘事件if event.key() QtCore.Qt.Key.Key_Q: # 如果按下的键是Q键self.close() # 关闭窗口3图像帧处理 在物体检测的实现上我们定义了一个函数frame_process来处理每一帧图像。这个函数首先调整图像的大小以符合模型的输入要求然后将图像传递给YOLOv8模型进行预测。我们通过打印每次推理的时间来监控性能并根据预测结果在图像上绘制边界框和类别标签。
def frame_process(image): # 定义frame_process函数用于处理每一帧图像image cv2.resize(image, (850, 500)) # 调整图像的大小pre_img model.preprocess(image) # 对图像进行预处理t1 time.time() # 获取当前时间pred, superimposed_img model.predict(pre_img) # 使用模型进行预测t2 time.time() # 获取当前时间use_time t2 - t1 # 计算预测所用的时间print(推理时间: %.2f % use_time) # 打印预测所用的时间det pred[0] # 获取预测结果# 如果有检测信息则进入if det is not None and len(det):det_info model.postprocess(pred) # 对预测结果进行后处理for info in det_info: # 遍历检测信息name, bbox, conf, cls_id info[class_name], info[bbox], info[score], info[class_id] # 获取类名、边界框、置信度和类别IDlabel %s %.0f%% % (name, conf * 100) # 创建标签包含类名和置信度# 画出检测到的目标物image drawRectBox(image, bbox, alpha0.2, addTextlabel, colorcolors[cls_id]) # 在图像上绘制矩形框并添加标签和颜色window.dispImage(window.label, image) # 在窗口的label控件上显示图像4主程序流程 我们使用YOLOv8Detector类来加载预训练好的模型并通过get_cls_color函数分配颜色到不同的类别使得最终的可视化结果既直观又信息丰富。整个系统通过QApplication实例化并将frame_process函数与视频流处理器MediaHandler关联起来确保每当有新的视频帧准备好时都会自动调用该函数进行处理。系统的运行通过app.exec()进入主事件循环直到用户决定退出。
cls_name Label_list # 定义类名列表model YOLOv8Detector() # 创建YOLOv8Detector对象
model.load_model(abs_path(weights/best-yolov8n.pt, path_typecurrent)) # 加载预训练的YOLOv8模型
colors get_cls_color(model.names) # 获取类别颜色app QtWidgets.QApplication(sys.argv) # 创建QApplication对象
window MainWindow() # 创建MainWindow对象videoHandler MediaHandler(fps30) # 创建MediaHandler对象设置帧率为30
videoHandler.frameReady.connect(frame_process) # 当有新的帧准备好时调用frame_process函数
videoHandler.setDevice(device0) # 设置设备为0即默认的摄像头
videoHandler.startMedia() # 开始处理媒体流# 显示窗口
window.show()
# 进入 Qt 应用程序的主循环
sys.exit(app.exec())通过以上的步骤我们构建了一个完整的实时零售柜商品检测应用。这个应用不仅可以实时识别和显示零售柜商品还能响应用户的交互操作。 5. 零售柜商品检测软件实现 在实现一款实时零售柜商品检测软件时我们的系统设计思路旨在打造一个既直观又高效的用户体验。为此我们采纳了一个多层次的架构策略确保了软件的可用性、可扩展性和维护性。
5.1 系统设计思路 在我们的系统设计中我们采取了模块化和分层的架构策略旨在提高系统的可维护性、可扩展性以及用户交互的直观性。整个系统设计围绕提供一个高效、准确和用户友好的零售柜商品检测解决方案展开。
1架构设计 我们的主要窗口类MainWindow不仅是用户交互的门户也是整个软件架构的核心。它连接了用户界面(UI)、媒体处理和模型预测这三个关键领域形成了一个协同工作的整体。在此基础上我们特别强调了模块化设计使得每个组件都可以独立运作从而增强了系统的灵活性和鲁棒性。例如YOLOv8模型的检测器作为一个独立模块可以在不影响其他组件的情况下更新或替换。 处理层Processing Layer在处理层我们利用了先进的YOLOv8Detector类它内置了预训练的深度学习模型能够处理实时视频流并准确地识别各种零售柜商品。这个模型是我们软件的智能核心其高性能确保了软件能够快速响应并在各种环境条件下稳定工作。界面层UI Layer系统的界面层设计简洁而直观让用户可以轻松地加载图像、开始检测任务并查看检测结果。用户界面不仅仅是按钮和图像的集合它还被设计成了用户操作的指挥中心。所有的操作无论是启动视频流还是处理单个图像文件都可以通过这个界面层轻松完成。控制层Control Layer控制层则是系统的指挥棒它负责解释用户的指令并将其转化为具体的动作。这层通过定义一系列槽函数和方法处理用户在界面层的交互指导媒体处理器捕捉视频流以及操纵模型进行图像识别和检测。控制层的设计确保了软件的响应性和稳定性无论是实时视频流处理还是静态图像分析都可以快速且准确地完成。 最后我们采用了Qt的信号和槽机制这是一种强大的事件驱动编程模型使得不同的功能模块之间能够无缝沟通和数据交换。这意味着无论是新的检测框出现还是用户改变检测参数系统的各个部分都可以及时响应和更新状态。这种设计使得系统既灵活又稳固为用户提供了一个既实时又准确的商品检测工具。 总的来说我们的设计哲学是以用户为中心从易用性到性能每一步都旨在提供最佳的用户体验。通过将前沿的YOLOv8模型与高效的图像处理技术和用户友好的界面相结合我们的软件不仅能够满足零售业对商品检测的需求同时也为研究人员和开发者提供了一个强大的研究和开发平台。
2系统流程 在构建我们的交互式零售柜商品检测软件时我们采纳了一种综合的系统设计思路旨在将界面设计、媒体处理以及深度学习模型紧密集成以提供一个高效、直观且用户友好的应用体验。这一设计思路的核心在于利用对象组合和模块化确保各个组件——从前端界面到后端处理逻辑——都能够独立运行同时通过Qt框架的信号和槽机制进行有效沟通。这样的架构不仅促进了高度的解耦还提供了灵活性允许系统轻松适应未来的扩展或修改。 用户进入系统后会遇到由MainWindow类实例化的主界面。这个类的初始化过程中不仅包括了用户界面的布局设置还涉及到了视频流和图像处理的配置。用户可以通过这个界面来选择不同的输入源包括实时视频流、视频文件或是图像文件每一种输入源都通过系统内部的媒体处理器得到妥善处理。对于实时视频流系统会配置摄像头对于视频文件系统会处理文件的读取对于图像文件系统则负责加载和转换。 在媒体资源准备就绪后系统会进入一个连续的帧处理循环。在这个循环中系统首先进行预处理包括图像尺寸的调整和颜色空间的转换以适配YOLOv8模型的要求。接着这些预处理过的图像会被送入模型进行目标的检测和识别。检测结果不仅包括商品的定位还可能包括商品的类别和其他相关信息。这些结果将即时反馈到GUI用户可以看到包括检测框和类别标签在内的视觉结果同时检测的统计数据也会以表格或图表的形式展示在界面上。 此外为了增强用户互动我们在界面上提供了多种按钮和控制元素使用户能够执行各种操作例如保存结果、调整检测设置或是查询帮助信息。用户还可以通过界面控制媒体播放例如开始或停止视频流的捕捉这为用户提供了对检测过程的直接控制。 通过这样的设计我们的系统不仅能够提供实时的商品检测功能还能让用户通过交互来深入理解和分析检测结果。整个系统流程的设计旨在使用户能够在一个统一的平台上完成从输入源选择到结果分析的所有步骤无缝地整合了技术的复杂性和用户体验的简洁性。这种综合性的设计思路是我们应对快速变化和技术发展的关键它确保了我们的系统不仅能够满足当前的需求还能够适应未来潜在的挑战和机遇。
5.2 登录与账户管理 在本次博客分享中我们将深入了解一个集成了高级账户管理功能的交互式零售柜商品检测软件。该软件不仅能够实施精准的商品检测还能为每位用户提供一套完整的个性化体验。通过PySide6构建的用户界面与SQLite数据库的结合使用我们实现了一套全面的账户管理系统用户可以通过它进行注册、登录、密码修改、头像设置以及注销等操作。 账户管理是软件的一个关键组成部分它允许用户在私密的空间内保存个人设置和检测历史记录从而使得用户体验更加个性化和安全。在用户首次使用软件时他们将通过一个直观的注册界面创建新的账户设置独一无二的用户名和密码并可选择上传头像以定制个人资料。此外用户能够随时更新他们的密码和头像确保账户的个人化和安全性。 一旦登录用户便可以访问软件的主要功能——零售柜商品检测。在这里用户可以选择不同的输入源进行商品检测包括上传的图片、视频文件甚至是来自实时摄像头的视频流。主界面中不仅实时显示检测框、类别和置信度信息还能处理和记录批量文件输入实现了真正的多任务和多物体检测能力。 我们的设计理念是为用户提供一个既简便又高效的工具不仅能够实现强大的目标检测功能还能通过账户管理系统为用户带来安全且无缝的操作体验。这不仅提升了用户对软件的信任和满意度还大大增强了软件在实际零售场景中的应用价值。通过这些细心的设计交互式零售柜商品检测软件为零售业的商家和顾客提供了一个可靠、易用且功能强大的解决方案助力提升零售效率和顾客购物体验。 下载链接 若您想获得博文中涉及的实现完整全部资源文件包括测试图片、视频py, UI文件训练数据集、训练代码、界面代码等这里已打包上传至博主的面包多平台见可参考博客与视频已将所有涉及的文件同时打包到里面点击即可运行完整文件截图如下 完整资源中包含数据集及训练代码环境配置与界面中文字、图片、logo等的修改方法请见视频项目完整文件下载请见演示与介绍视频的简介处给出➷➷➷
演示与介绍视频https://www.bilibili.com/video/BV1xw4m1d7Qr/ 在文件夹下的资源显示如下下面的链接中也给出了Python的离线依赖包读者可在正确安装Anaconda和Pycharm软件后复制离线依赖包至项目目录下进行安装另外有详细安装教程1Pycharm软件安装教程2Anaconda软件安装教程3Python环境配置教程
离线依赖安装教程https://www.bilibili.com/video/BV1hv421C7g8/ 离线依赖库下载链接https://pan.baidu.com/s/1y6vqa9CtRmC72SQYPh1ZCg?pwd33z5 提取码33z5 6. 总结与展望 在本博客中我们详细介绍了一个基于YOLOv8模型的零售柜商品检测软件还实验了YOLOv7、YOLOv6、YOLOv5等模型。系统以模块化的方式设计充分采用了合理的架构设计带来良好的可维护性和可扩展性。其用户界面友好能够提供实时的零售柜商品检测和识别结果展示同时支持用户账户管理以便于保存和管理检测结果和设置。 该系统支持摄像头、视频、图像和批量文件等多种输入源能够满足用户在不同场景下的需求。在后面可以添加更多预训练模型增加检测和识别的种类优化用户界面增强个性化设置并积极聆听用户反馈以期不断改进系统以更好地满足用户的需求。 结束语 由于博主能力有限博文中提及的方法即使经过试验也难免会有疏漏之处。希望您能热心指出其中的错误以便下次修改时能以一个更完美更严谨的样子呈现在大家面前。同时如果有更好的实现方法也请您不吝赐教。 Fang W, Wang L, Ren P. Tinier-YOLO: A real-time object detection method for constrained environments[J]. IEEE Access, 2019, 8: 1935-1944. ↩︎ Wang C Y, Bochkovskiy A, Liao H Y M. YOLOv7: Trainable bag-of-freebies sets new state-of-the-art for real-time object detectors[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2023: 7464-7475. ↩︎ Li C, Li L, Jiang H, et al. YOLOv6: A single-stage object detection framework for industrial applications[J]. arXiv preprint arXiv:2209.02976, 2022. ↩︎ Wu W, Liu H, Li L, et al. Application of local fully Convolutional Neural Network combined with YOLO v5 algorithm in small target detection of remote sensing image[J]. PloS one, 2021, 16(10): e0259283. ↩︎
