学会建设网站必要性,附近广告设计与制作,力杨网站建设,沧州网络推广公司本文介绍了一种基于嵌入式平台开发的图像识别部署装置#xff0c;其主要功能包括实现机器与人的“猜拳博弈”#xff0c;其组成分为三个部分#xff1a;手势检测数据集图像识别模型训练模型格式部署maixbit开发板部署手势检测数据集#xff1a;本项目的数据集包括三种标签其主要功能包括实现机器与人的“猜拳博弈”其组成分为三个部分手势检测数据集图像识别模型训练模型格式部署maixbit开发板部署手势检测数据集本项目的数据集包括三种标签石头剪刀布。数据集采用的是自己采集自行采集数据集有两个优点1.对最终的部署于maixbit开发板进行识别更加具有针对性2.可以任意控制数据集的数量。如上图所示maixpy提供了线上的数据集制作平台进行训练集以及验证集的编写通过手动标注数据集由于本项目中所使用的是图像分类的识别模型不需要进行手动标注。数据集的样本采集方式使用手机端进行直接的训练样本采集,上传至maixHub的后端服务器图像样本以及对应的标签。选取模型进行模型的训练使用的分类模型为mobilenet进行数据集的拟合。踩坑经验:数据集三种标签的样本采集数量应该严格相等同时尽可能数量多不低于80张采集样本图片。模型选择方面仅支持官方推荐的几种模型也是因为芯片的RAM较小并且其中固件占据了太多部分的内存。选择部署方式本项目最终部署的平台是maixBit开发板因此适用于nncase的部署方式如果选择部署于树莓派与安卓平台时可以选择ncnn的部署方式。配置项选择全部结束创建训练任务日志平台进行训练日志的监控主要包括损失函数loss的下降趋势监控以及模型acc准确率的显示等训练完成的模型进行终端部署相关操作。maixhub帮助我们实现了一个初步的推理代码实现部署直接应用模型即可实现调用maixbit开发进行模型的图像识别。import sensor, image, lcd, time
import KPU as kpu
import gc, sysinput_size (224, 224)
labels [cloth, Scissors, Stone]def lcd_show_except(e):import uioerr_str uio.StringIO()sys.print_exception(e, err_str)err_str err_str.getvalue()img image.Image(sizeinput_size)img.draw_string(0, 10, err_str, scale1, color(0xff,0x00,0x00))lcd.display(img)def main(labels None, model_addr/sd/m.kmodel, sensor_windowinput_size, lcd_rotation0, sensor_hmirrorFalse, sensor_vflipFalse):sensor.reset()sensor.set_pixformat(sensor.RGB565)sensor.set_framesize(sensor.QVGA)sensor.set_windowing(sensor_window)sensor.set_hmirror(sensor_hmirror)sensor.set_vflip(sensor_vflip)sensor.run(1)lcd.init(type1)lcd.rotation(lcd_rotation)lcd.clear(lcd.WHITE)if not labels:with open(labels.txt,r) as f:exec(f.read())if not labels:print(no labels.txt)img image.Image(size(320, 240))img.draw_string(90, 110, no labels.txt, color(255, 0, 0), scale2)lcd.display(img)return 1try:img image.Image(startup.jpg)lcd.display(img)except Exception:img image.Image(size(320, 240))img.draw_string(90, 110, loading model..., color(255, 255, 255), scale2)lcd.display(img)try:task Nonetask kpu.load(model_addr)while(True):img sensor.snapshot()t time.ticks_ms()fmap kpu.forward(task, img)t time.ticks_ms() - tplistfmap[:]pmaxmax(plist)max_indexplist.index(pmax)img.draw_string(0,0, %.2f : %s %(pmax, labels[max_index].strip()), scale2, color(255, 0, 0))img.draw_string(0, 200, t:%dms %(t), scale2, color(255, 0, 0))lcd.display(img)except Exception as e:raise efinally:if not task is None:kpu.deinit(task)if __name__ __main__:try:# main(labelslabels, model_addr0x300000)main(labelslabels, model_addr/sd/model-26548.kmodel)except Exception as e:sys.print_exception(e)lcd_show_except(e)finally:gc.collect()
maixbit开发使用摄像头以及LCD屏幕进行图像的结果显示包括实时视频检测的结果以及模型识别的推理时间进行显示。maix bit主板示意图如下图所示maix bit开发板示意图maix bit开发板的内部包含KPU神经网络处理器类似华为的NPU芯片可以加快模型的推理速度。目前手上有可以识别石头剪刀布三种手势的模型设备需要进行人机交互层面的实现工作。选取上电运行的主界面图片具体需要实现的交互功能为根据人的手势识别其具体的手势类别再做出相应的手势反应。主界面的上电运行图片进行实际的切分分为剪刀图片石头图片以及布图片三种手势图片图片进行显示预处理maix bit开发板的显示屏采用的LCD液晶显示屏其如下图所示其显示屏的参数对于项目的区别在于320x240的视频显示分辨率因此其主界面的图片显示应调整分辨率为320x240的图像分辨率这里使用的是画图软件进行图片大小的调整。部署模型Python代码如下所示import sensor, image, lcd, time
import KPU as kpu
import gc, sys
input_size (224, 224)
labels [cloth, Scissors, Stone]
cloth_pic /sd/bu.jpg
Scissors_pic /sd/jian.jpg
Stone_pic /sd/shi.jpg
def lcd_show_except(e):import uioerr_str uio.StringIO()sys.print_exception(e, err_str)err_str err_str.getvalue()img image.Image(sizeinput_size)img.draw_string(0, 10, err_str, scale1, color(0xff,0x00,0x00))lcd.display(img)
def main(labels None, model_addr, sensor_windowinput_size, lcd_rotation0, sensor_hmirrorFalse, sensor_vflipFalse):sensor.reset()sensor.set_pixformat(sensor.RGB565)sensor.set_framesize(sensor.QVGA)sensor.set_windowing(sensor_window)sensor.set_hmirror(sensor_hmirror)sensor.set_vflip(sensor_vflip)sensor.run(1)lcd.init(type1)lcd.rotation(lcd_rotation)lcd.clear(lcd.WHITE)try:img image.Image(/sd/start.jpg)lcd.display(img)time.sleep(2)lcd.clear()img image.Image(size(320, 240))img.draw_string(80, 110, Mora Guess Game, color(255, 255, 255), scale2)lcd.display(img)time.sleep(2)except Exception:img image.Image(size(320, 240))img.draw_string(50, 50, model exception..., color(255, 255, 255), scale2)lcd.display(img)try:task Nonetask kpu.load(model_addr)lcd.clear()while(True):img sensor.snapshot()t time.ticks_ms()if img is None or img :continuefmap kpu.forward(task, img)t time.ticks_ms() - tfps 1000/tplistfmap[:]pmaxmax(plist)max_indexplist.index(pmax);img.draw_string(0,0, %.2f: %s %(pmax,labels[max_index].strip()), scale2, color(000, 0,255))img.draw_string(0, 200, fps :%.1f %(fps), scale2, color(0, 0, 255))lcd.display(img,roi(0, 0, 160, 240), oft(0, 0))if max_index 0:Scissors image.Image(Scissors_pic)lcd.display(Scissors,roi(0, 0, 160, 240), oft(160, 0))elif max_index 1:Stone image.Image(Stone_pic)lcd.display(Stone,roi(0, 0, 160, 240), oft(160, 0))elif max_index 2:cloth image.Image(cloth_pic)lcd.display(cloth,roi(0, 0, 160, 240), oft(160, 0))except Exception as e:raise efinally:if not task is None:kpu.deinit(task)
if __name__ __main__:try:main(labelslabels, model_addr/sd/model-26548.kmodel)except Exception as e:sys.print_exception(e)lcd_show_except(e)finally:gc.collect()
maix bit可以外接SD卡配置将进行显示所用的文件为了节约芯片的内存将LCD屏幕的320x240的屏幕进行一分为二因此以上三个手势图片分辨率为160x240。进行视频显示视频流显示与模型处理结果进行分割针对视频流采集的图片进行预测进行模型的前向传播获取各个预测标签对应的概率。获取最大的概率所对应的索引输出对应的预测标签结果。博弈操作的逻辑代码如下if max_index 0:Scissors image.Image(Scissors_pic)lcd.display(Scissors,roi(0, 0, 160, 240), oft(160, 0))
elif max_index 1:Stone image.Image(Stone_pic)lcd.display(Stone,roi(0, 0, 160, 240), oft(160, 0))
elif max_index 2:cloth image.Image(cloth_pic)lcd.display(cloth,roi(0, 0, 160, 240), oft(160, 0))将图像识别的标签进行分布为[石头布剪刀],通过识别的图片结果读取sd卡中的图像数据在半个LCD显示屏进行操作结果的显示以此类推。如图为本智能设备的最终识别效果以上为MaixBitK210芯片的图像识别猜拳手势博弈装置的最终效果完整源代码通过关注我的公众号“千与编程”有详细教程。其实这个项目是我一早就很想做的项目现在也算完整完成了做一个完整的项目用编程改变世界加油我是千与千寻我们下期见
