广州手机网站建设,html所有标签及其属性汇总,网站编辑做图片用什么不同,超变传奇手游刀刀切割无会员散人行人检测(人体检测)3#xff1a;Android实现人体检测(含源码#xff0c;可实时人体检测)
目录
行人检测(人体检测)3#xff1a;Android实现人体检测(含源码#xff0c;可实时人体检测)
1. 前言
2. 人体检测数据集说明
3. 基于YOLOv5的人体检测模型训练
4.人体检测模型…行人检测(人体检测)3Android实现人体检测(含源码可实时人体检测)
目录
行人检测(人体检测)3Android实现人体检测(含源码可实时人体检测)
1. 前言
2. 人体检测数据集说明
3. 基于YOLOv5的人体检测模型训练
4.人体检测模型Android部署
1 将Pytorch模型转换ONNX模型
2 将ONNX模型转换为TNN模型
3 Android端上部署模型
4 一些异常错误解决方法
5. 人体检测效果
6.项目源码下载 1. 前言
这是项目《行人检测(人体检测)》系列之《Android实现人体检测(含源码可实时人体检测)》本篇主要分享将Python训练后的YOLOv5的人体检测模型移植到Android平台。我们将开发一个简易的、可实时运行的人体检测Android Demo。
考虑到原始YOLOv5的模型计算量比较大鄙人在YOLOv5s基础上开发了一个非常轻量级的的人体检测模型yolov5s05_320。从效果来看Android人体检测模型的检测效果还是可以的高精度版本YOLOv5s平均精度平均值mAP_0.5:0.950.84354而轻量化版本yolov5s05_416平均精度平均值mAP_0.5:0.950.76103左右。APP在普通Android手机上可以达到实时的检测识别效果CPU(4线程)约30ms左右GPU约25ms左右 基本满足业务的性能需求。
先展示一下Android Demo效果 【Android APP体验】https://download.csdn.net/download/guyuealian/87441942
【项目源码下载】
【尊重原创转载请注明出处】https://blog.csdn.net/guyuealian/article/details/128954615 更多项目《行人检测(人体检测)》系列文章请参考
行人检测(人体检测)1人体检测数据集(含下载链接):https://blog.csdn.net/guyuealian/article/details/128821763行人检测(人体检测)2YOLOv5实现人体检测(含人体检测数据集和训练代码)https://blog.csdn.net/guyuealian/article/details/128954588行人检测(人体检测)3Android实现人体检测(含源码可实时人体检测)https://blog.csdn.net/guyuealian/article/details/128954615行人检测(人体检测)4C实现人体检测(含源码可实时人体检测)https://blog.csdn.net/guyuealian/article/details/1289546382. 人体检测数据集说明
目前收集VOCCOCO和MPII数据集总数据量约10W左右可用于人体(行人)检测模型算法开发。这三个数据集都标注了人体检测框但没有人脸框考虑到很多项目业务需求需要同时检测人脸和人体框故已经将这三个数据都标注了person和face两个标签以便深度学习目标检测模型训练。
关于人体检测数据集使用说明和下载详见另一篇博客说明《行人检测(人体检测)1人体检测数据集(含下载链接)》 行人检测(人体检测)1人体检测数据集(含下载链接)_AI吃大瓜的博客-CSDN博客 3. 基于YOLOv5的人体检测模型训练
官方YOLOv5给出了YOLOv5l,YOLOv5m,YOLOv5s等模型。考虑到手机端CPU/GPU性能比较弱鸡直接部署yolov5s运行速度十分慢。所以本人在yolov5s基础上进行模型轻量化处理即将yolov5s的模型的channels通道数全部都减少一半并且模型输入由原来的640×640降低到416×416或者320×320该轻量化的模型我称之为yolov5s05。轻量化后的模型yolov5s05比yolov5s计算量减少了16倍参数量减少了7倍。
下面是yolov5s05和yolov5s的参数量和计算量对比
模型input-sizeparams(M)GFLOPsyolov5s640×6407.216.5yolov5s05416×4161.71.8yolov5s05320×3201.71.1
yolov5s05和yolov5s训练过程完全一直仅仅是配置文件不一样而已碍于篇幅本篇博客不在赘述详细训练过程请参考 《行人检测(人体检测)2YOLOv5实现人体检测(含人体检测数据集和训练代码)》https://blog.csdn.net/guyuealian/article/details/128954588 4.人体检测模型Android部署
1 将Pytorch模型转换ONNX模型
训练好yolov5s05或者yolov5s模型后你需要将模型转换为ONNX模型并使用onnx-simplifier简化网络结构 # 转换yolov5s05模型
python export.py --weights runs/yolov5s05_320/weights/best.pt --img-size 320 320# 转换yolov5s模型
python export.py --weights runs/yolov5s_640/weights/best.pt --img-size 640 640 GitHub https://github.com/daquexian/onnx-simplifier Install: pip3 install onnx-simplifier 2 将ONNX模型转换为TNN模型
目前CNN模型有多种部署方式可以采用TNNMNN,NCNN以及TensorRT等部署工具鄙人采用TNN进行Android端上部署
TNN转换工具 1将ONNX模型转换为TNN模型请参考TNN官方说明TNN/onnx2tnn.md at master · Tencent/TNN · GitHub2一键转换懒人必备一键转换 Caffe, ONNX, TensorFlow 到 NCNN, MNN, Tengine (可能存在版本问题这个工具转换的TNN模型可能不兼容建议还是自己build源码进行转换2022年9约25日测试可用)
3 Android端上部署模型
项目实现了Android版本的人体检测Demo部署框架采用TNN支持多线程CPU和GPU加速推理在普通手机上可以实时处理。Android源码核心算法YOLOv5部分均采用C实现上层通过JNI接口调用 package com.cv.tnn.model;import android.graphics.Bitmap;public class Detector {static {System.loadLibrary(tnn_wrapper);}/**** 初始化模型* param model TNN *.tnnmodel文件文件名含后缀名* param root模型文件的根目录放在assets文件夹下* param model_type模型类型* param num_thread开启线程数* param useGPU关键点的置信度小于值的坐标会置-1*/public static native void init(String model, String root, int model_type, int num_thread, boolean useGPU);/**** 检测* param bitmap 图像bitmapARGB_8888格式* param score_thresh置信度阈值* param iou_thresh IOU阈值* return*/public static native FrameInfo[] detect(Bitmap bitmap, float score_thresh, float iou_thresh);
}如果你想在这个Android Demo部署你自己训练的YOLOv5模型你可将训练好的Pytorch模型转换ONNX 再转换成TNN模型然后把TNN模型代替你模型即可。
4 一些异常错误解决方法 TNN推理时出现Permute param got wrong size 官方YOLOv5: GitHub - ultralytics/yolov5: YOLOv5 in PyTorch ONNX CoreML TFLite 如果你是直接使用官方YOLOv5代码转换TNN模型部署TNN时会出现这个错误Permute param got wrong size这是因为TNN最多支持4个维度计算而YOLOv5在输出时采用了5个维度。你需要修改model/yolo.py文件
export.py文件设置model.model[-1].export True .....# Exportsif torchscript in include:export_torchscript(model, img, file, optimize)if onnx in include:model.model[-1].export True # TNN不支持5个维度,修改输出格式export_onnx(model, img, file, opset, train, dynamic, simplifysimplify)if coreml in include:export_coreml(model, img, file)# Finishprint(f\nExport complete ({time.time() - t:.2f}s)f\nResults saved to {colorstr(bold, file.parent.resolve())}f\nVisualize with https://netron.app).....TNN推理时效果很差检测框一团麻
这个问题大部分是模型参数设置错误需要根据自己的模型修改C推理代码YOLOv5Param模型参数。 struct YOLOv5Param {ModelType model_type; // 模型类型MODEL_TYPE_TNNMODEL_TYPE_NCNN等int input_width; // 模型输入宽度单位像素int input_height; // 模型输入高度单位像素bool use_rgb; // 是否使用RGB作为模型输入PS接口固定输入BGRuse_rgbture时预处理将BGR转换为RGBbool padding;int num_landmarks; // 关键点个数NetNodes InputNodes; // 输入节点名称NetNodes OutputNodes; // 输出节点名称vectorYOLOAnchor anchors;vectorstring class_names; // 类别集合
};input_width和input_height是模型的输入大小vectorYOLOAnchor anchors需要对应上注意Python版本的yolov5s的原始anchor是 anchors:- [ 10,13, 16,30, 33,23 ] # P3/8- [ 30,61, 62,45, 59,119 ] # P4/16- [ 116,90, 156,198, 373,326 ] # P5/32 而yolov5s05由于input size由原来640变成320anchor也需要做对应调整 anchors:- [ 5, 6, 8, 15, 16, 12 ] # P3/8- [ 15, 30, 31, 22, 30, 60 ] # P4/16- [ 58, 45, 78, 99, 186, 163 ] # P5/32 因此C版本的yolov5s和yolov5s05的模型参数YOLOv5Param如下设置 //YOLOv5s模型参数
static YOLOv5Param YOLOv5s_640 {MODEL_TYPE_TNN,640,640,true,true,0,{{{images, nullptr}}}, //InputNodes{{{boxes, nullptr}, //OutputNodes{scores, nullptr}}},{{434, 32, {{116, 90}, {156, 198}, {373, 326}}},{415, 16, {{30, 61}, {62, 45}, {59, 119}}},{output, 8, {{10, 13}, {16, 30}, {33, 23}}},},CLASS_NAME
};//YOLOv5s05模型参数
static YOLOv5Param YOLOv5s05_ANCHOR_416 {MODEL_TYPE_TNN,416,416,true,true,0,{{{images, nullptr}}}, //InputNodes{{{boxes, nullptr}, //OutputNodes{scores, nullptr}}},{{434, 32,{{75, 58}, {101, 129}, {242, 212}}},{415, 16, {{20, 40}, {40, 29}, {38, 77}}},{output, 8, {{6, 8}, {10, 20}, {21, 15}}}, //},CLASS_NAME
};
//YOLOv5s05模型参数
static YOLOv5Param YOLOv5s05_ANCHOR_320 {MODEL_TYPE_TNN,320,320,true,true,0,{{{images, nullptr}}}, //InputNodes{{{boxes, nullptr}, //OutputNodes{scores, nullptr}}},{{434, 32, {{58, 45}, {78, 99}, {186, 163}}},{415, 16, {{15, 30}, {31, 22}, {30, 60}}},{output, 8, {{5, 6}, {8, 15}, {16, 12}}}, //},CLASS_NAME
}; 运行APP闪退dlopen failed: library libomp.so not found
参考解决方法解决dlopen failed: library “libomp.so“ not found_PKing666666的博客-CSDN博客_dlopen failed 5. 人体检测效果 【Android APP体验】https://download.csdn.net/download/guyuealian/87441942
APP在普通Android手机上可以达到实时的人体检测效果CPU(4线程)约30ms左右GPU约25ms左右 基本满足业务的性能需求。 6.项目源码下载 【Android APP体验】https://download.csdn.net/download/guyuealian/87441942 【人体检测Android源码下载】
整套Android项目源码内容包含 提供快速版yolov5s05人体检测模型在普通手机可实时检测识别CPU(4线程)约30ms左右GPU约25ms左右提供高精度版本yolov5s人体检测模型CPU(4线程)约250ms左右GPU约100ms左右Demo支持图片视频摄像头测试更多项目《行人检测(人体检测)》系列文章请参考
行人检测(人体检测)1人体检测数据集(含下载链接):https://blog.csdn.net/guyuealian/article/details/128821763行人检测(人体检测)2YOLOv5实现人体检测(含人体检测数据集和训练代码)https://blog.csdn.net/guyuealian/article/details/128954588行人检测(人体检测)3Android实现人体检测(含源码可实时人体检测)https://blog.csdn.net/guyuealian/article/details/128954615行人检测(人体检测)4C实现人体检测(含源码可实时人体检测)https://blog.csdn.net/guyuealian/article/details/128954638
