做旅游宣传图的网站有哪些,网站开发需要什么人才,wordpress 企业网站,网站设计制作需要多少钱NCNN的编译运行交叉编译 1.在Ubuntu上编译运行ncnn1#xff09;编译ncnn x86 linux2#xff09;测试ncnn x86 linux 2. 模型转换1#xff09;onnx2#xff09;pnnx 3.在x86上加载推理模型1)准备工作2)编写C推理代码3)编写Cmakelist编译 4.在MIPS上进行交叉编译推理1#x… NCNN的编译运行交叉编译 1.在Ubuntu上编译运行ncnn1编译ncnn x86 linux2测试ncnn x86 linux 2. 模型转换1onnx2pnnx 3.在x86上加载推理模型1)准备工作2)编写C推理代码3)编写Cmakelist编译 4.在MIPS上进行交叉编译推理1编译mips版本opencv2编译mips版本ncnn3编译上述efficientnetb0.cpp demo程序4运行推理 1.在Ubuntu上编译运行ncnn
1编译ncnn x86 linux
// ubuntu安装依赖
sudo apt install build-essential git cmake libprotobuf-dev protobuf-compiler libomp-dev libvulkan-dev vulkan-tools libopencv-dev// 下载ncnn以及三方库
git clone https://github.com/Tencent/ncnn.git
git submodule update --init// 编译
cd ncnn
mkdir -p build
cd build
cmake -DCMAKE_BUILD_TYPERelease -DNCNN_VULKANON -DNCNN_BUILD_EXAMPLESON ..
make -j$(nproc)// 安装到install文件夹
make install prefix./install检查一下install文件夹里是不是生成了bininclude和lib
2测试ncnn x86 linux
上面我们编译的时候打开了-DNCNN_BUILD_EXAMPLESON所以这里就用编译好的例子试一下由于squeezenet提供了权重文件所以直接测这个。 把权重文件复制到build/examples里 我们可以看一下squeezent.cpp里ncnn需要加载.bin和.param模型文件所以放到同一文件夹。 然后运行
cd build/examples
./squeezenet ../../images/256-ncnn.png运行成功
2. 模型转换
这里用pytorch onnx来举例子简单的模型可以用ncnn编译好的bin来直接转换。
1onnx ./onnx2ncnn a.onnx a.param a.bin这边的param就是模型的结构描述文件bin是模型的具体权重 如果不行尝试使用onnx-simplifier先处理一下模型
onnxsim a.onnx a_sim.onnx然后再转换a_sim.onnx这里不多赘述自行尝试。
2pnnx
如果我们直接从onnx转换到ncnn的模型经常会出现不兼容不能完全转换的情况所以我们这边直接使用pnnx来进行模型转换。
PyTorch Neural Network eXchange pnnx github PyTorch Neural Network eXchange(PNNX) is an open standard for PyTorch model interoperability. PNNX provides an open model format for PyTorch. It defines computation graph as well as high level operators strictly matches PyTorch.
我们以efficientnet为例 链接: https://github.com/lukemelas/EfficientNet-PyTorch
import torch
from torchsummary import summary
from efficientnet_pytorch import EfficientNetdevice torch.device(cuda if torch.cuda.is_available() else cpu)# 初始化模型
model EfficientNet.from_pretrained(efficientnet-b0, advpropTrue, num_classes10)
model.to(device)
# 加载训练好的权重
params_dict torch.load(rbest.pth)
# 如果训练的时候是多卡使用DataParallel来训的需要用.module.state_dict()得到权重dict
model.load_state_dict(params_dict.module.state_dict())summary(model, (3, 416, 416))
# efficientnet训练时候用了memory efficient swish激活导出的时候换成普通swich提高兼容性
model.set_swish(memory_efficientFalse)
# model_pt torch.save(model_pt)model.eval()dummy_in torch.randn(1, 3, 416, 416, requires_gradTrue).to(device)
# 导出torchscript权重
mod torch.jit.trace(model,dummy_in)
torch.jit.save(mod,efb0_pnnx.pt)
pip install pnnxpnnx ./efb0_pnnx.pt inputshape[1,3,416,416]然后会生成一堆文件我们需要的就是.param和.bin文件
3.在x86上加载推理模型
1)准备工作
编译好的ncnn(看第一步) 编译好的opencv(如果不想重新编译直接sudo apt install libopencv-dev)
2)编写C推理代码
文件结构 demo ----CMakeList.txt ----1.jpg ----src --------effcientnetb0.cpp ----build ----bin
#include iostream
#include net.h
#include algorithm
#include opencv2/core/core.hpp
#include opencv2/highgui/highgui.hpp
#include stdio.hint main(int argc, char** argv)
{const char* img_path argv[1];// opencv读取图片cv::Mat m cv::imread(img_path, 1);// 图像归一化这边视情况采用训练相同的归一化方法m m / 255.0 ;if (m.empty()){fprintf(stderr, cv::imread %s failed\n, img_path);return -1;}// 创建ncnn网络ncnn::Net efficientb0; efficientb0.opt.use_vulkan_compute true; // 加载权重if (efficientb0.load_param(model_param/efficientb0/efb0_pnnx.ncnn.param))exit(-1);if (efficientb0.load_model(model_param/efficientb0/efb0_pnnx.ncnn.bin))exit(-1);// 把opencv mat的data矩阵加载到ncnn mat中准备作为推理的输入ncnn::Mat in ncnn::Mat::from_pixels_resize(m.data, ncnn::Mat::PIXEL_BGR2RGB, m.cols, m.rows, 416, 416);ncnn::Extractor ex efficientb0.create_extractor();//在.param文件中找到输入的节点名称in0ex.input(in0, in); ncnn::Mat out;//在.param文件中找到输出的节点名称out0推理结束ex.extract(out0, out); //输出推理结果for (int i 0; i out.w; i){std::cout i out[i] std::endl;}return 0;
}如何查看输入输出的名称如下图
3)编写Cmakelist编译
project(NCNN_DEMO)
cmake_minimum_required(VERSION 2.8.12)
set(CMAKE_BUILD_TYPE Debug)set(CMAKE_PREFIX_PATH ${CMAKE_PREFIX_PATH} 改成第一步编译好的ncnn路径xxx/ncnn/build/install/)find_package(OpenCV REQUIRED)
find_package(ncnn)
if(ncnn_FOUND)set(CMAKE_RUNTIME_OUTPUT_DIRECTORY ${CMAKE_SOURCE_DIR}/bin)add_executable(efficientnetb0 src/efficientb0.cpp)target_link_libraries(efficientnetb0 ncnn ${OpenCV_LIBS})else()message(WARNING ncnn not found, please check CMAKE_PREFIX_PATH)
endif() # 创建build文件夹
cd build
cmake ..
make//使用编译好的程序进行推理
./bin/effcientnetb0 ./1.jpg输出结果 可以看到linear层的推理结果输出了选最大的一个index就是分类结果至此x86上全部的推理工作就做好了。
4.在MIPS上进行交叉编译推理
Arm等平台教程比较多我们使用mips的嵌入式开发版君正x2000进行讲解。
1编译mips版本opencv
2编译mips版本ncnn
3编译上述efficientnetb0.cpp demo程序
4运行推理
