备案号怎么添加到网站,太原网站建设价格,搭建一个影视网站,哈尔滨建站模板系统目录 tensorRT介绍
前置准备
安装cuda与cudnn
linux
windows
cuda版本查看
下载安装包
linux安装
安装
安装验证
windows安装
安装
环境变量配置
安装验证 tensorRT介绍
有关tensorRT的介绍见
TensorRT简介-CSDN博客
前置准备
安装cuda与cudnn
linux
Linux下…目录 tensorRT介绍
前置准备
安装cuda与cudnn
linux
windows
cuda版本查看
下载安装包
linux安装
安装
安装验证
windows安装
安装
环境变量配置
安装验证 tensorRT介绍
有关tensorRT的介绍见
TensorRT简介-CSDN博客
前置准备
安装cuda与cudnn
linux
Linux下安装cuda和对应版本的cudnn_linux怎么在自己的环境中安装cuda和cudnn-CSDN博客
windows
windows安装cuda与cudnn-CSDN博客
cuda版本查看
linux与windows均可使用以下命令查看cuda版本
nvcc -V 下载安装包
进官网查看对应自己cuda版本的tensorRT
TensorRT Download | NVIDIA Developer
官网页面打开如下所示 每个版本的tensorRT都有对应操作系统与cuda版本的说明
注意win11只能只有tensorRT10支持 linux下我们以安装tensorRT8为例如下图所示 第一个红色框是cuda11对应的安装包第二个红色方框是cuda12对应的安装包找到自己对应cuda版本的安装包即可建议下载tar包安装比较方便 同理windows11下只要tensorRT10支持如下图所示仍旧找到自己的安装包下载即可 linux安装
安装
下载好安装包后将文件解压至 /usr/local如下所示 然后将tensorrt的头文件和库文件加入到环境变量中配置/.bashrc文件
export LD_LIBRARY_PATH$LD_LIBRARY_PATH:/usr/local/TensorRT-8.5.3.1/lib
export C_INCLUDE_PATH$C_INCLUDE_PATH:/usr/local/TensorRT-8.5.3.1/include
export CPLUS_INCLUDE_PATH$CPLUS_INCLUDE_PATH:/usr/local/TensorRT-8.5.3.1/include 添加完路径后使配置文件生效
source /.bashrc
安装验证
进入到 /usr/local/TensorRT-8.5.3.1/samples/sampleOnnxMNIST路径下执行
sudo make 进入/usr/local/TensorRT-8.5.3.1/bin目录运行可执行文件sample_onnx_mnist如果编译和运行过程都没有问题则说明tensorrt安装成功运行结果如下 windows安装
安装
首先找到自己cuda的安装路径打开cmd命令行窗口输入
which nvcc
如果cuda安装成功会显示cuda的安装路径
/c/Program Files/NVIDIA GPU Computing Toolkit/CUDA/v12.1/bin/nvcc 然后解压下载的tensorRT安装包将tensorRT中lib目录和include目录中的文件内容都拷贝到cuda对应的目录文件下 环境变量配置
右键“此电脑”点击属性点击“高级系统设置”即可打开系统属性面板
也可以在搜索框输入“编辑系统环境变量”也可打开下述面板
然后点击环境变量 用户变量一栏点击Path 点击“新建”将对应TensorRT解压的文件夹下的bin目录路径以及cuda安装目录下的lib目录、include目录以及lib下的x64目录路径设置进去如下所示 然后逐步点击“确定”直到所有面板关闭一定不要直接点右上角关闭否则配置会失败
安装验证
打开cmd命令窗口输入
trtexec --help
如果显示以下帮助信息说明TensorRT中的trtexec程序可用否则检查trtexec程序(TensorRT解压安装包的bin目录下)的环境变量是否配置正确 接下来代码验证trtexec是否可成功执行打开python写下如下python代码更多代码细节见
PyTorch模型转换ONNX 入门-CSDN博客
import torch
import torchvision.models as models
import onnx
import onnxruntime# 加载 PyTorch 模型
model models.resnet18(pretrainedTrue)
model.eval()# 定义输入和输出张量的名称和形状
input_names [input]
output_names [output]
batch_size 1
input_shape (batch_size, 3, 224, 224)
output_shape (batch_size, 1000)# 将 PyTorch 模型转换为 ONNX 格式
torch.onnx.export(model, # 要转换的 PyTorch 模型torch.randn(input_shape), # 模型输入的随机张量resnet18.onnx, # 保存的 ONNX 模型的文件名input_namesinput_names, # 输入张量的名称output_namesoutput_names, # 输出张量的名称dynamic_axes{input_names[0]: {0: batch_size}, output_names[0]: {0: batch_size}} # 动态轴即输入和输出张量可以具有不同的批次大小
)# 加载 ONNX 模型
onnx_model onnx.load(resnet18.onnx)
onnx_model_graph onnx_model.graph
onnx_session onnxruntime.InferenceSession(onnx_model.SerializeToString())# 使用随机张量测试 ONNX 模型
x torch.randn(input_shape).numpy()
onnx_output onnx_session.run(output_names, {input_names[0]: x})[0]print(fPyTorch output: {model(torch.from_numpy(x)).detach().numpy()[0, :5]})
print(fONNX output: {onnx_output[0, :5]})
如果代码运行不成功查看pytorch是否安装、onnx模块是否安装、onnxruntime模块是否安装
如果代码运行成功会在本地输出一个mymodel.onnx文件
接下来打开该文件所在路径打开cmd输入
trtexec --onnxmymodel.onnx --saveEnginemodel.trt
如果运行成功说明TensorRT安装成功 如果这里运行失败检查环境变量是否配置正确 参考
ubuntu20.04 安装TensorRT c库 - Wangtn - 博客园 (cnblogs.com)
TensorRT安装部署指南Windows10 - 知乎 (zhihu.com)
