TorchVision框架下模型导出并部署到ONNXRUNTIME C++全流程解析-电子发烧友网

TorchVision框架下模型导出并部署到ONNXRUNTIME C++全流程解析

ONNXRUNTIME1.13

ONNXRUNTIME是主流的深度学习部署框架之一，支持ONNX格式模型在CPU、GPU、ARM等不同硬件平台上加速推理，支持C++、Python、Java、C#、JS等不同语言SDK。C++版本安装包下载如下：

不同版本的ONNXRUNTIME安装文件下载地址：

https://github.com/microsoft/onnxruntime/tags

框架主页：

https://onnxruntime.ai/

推理流程与API 接口

常用组件与推理流程支持：

Python SDK API支持：

C++ SDK API支持：

学会用C++部署YOLOv5与YOLOv8对象检测，实例分割，姿态评估模型，TorchVision框架下支持的Faster-RCNN，RetinaNet对象检测、MaskRCNN实例分割、Deeplabv3 语义分割模型等主流深度学习模型导出ONNX与C++推理部署，轻松解决Torchvision框架下模型训练到部署落地难题。

整个视频课程通过案例代码实战驱动，手把手系统化教学，帮助大家掌握ONNXRUNTIME API2 C++开发的各种技巧，学会图像分类、对象检测、语义分割、实例分割、pytorch自定义模型部署等ONNXRUNTIME C++版本的模型推理与解析技巧。

审核编辑：汤梓红

声明：本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人，不代表电子发烧友网立场。文章及其配图仅供工程师学习之用，如有内容侵权或者其他违规问题，请联系本站处理。举报投诉

cpu

cpu

+关注

关注
68

文章
10854

浏览量
211565
JAVA

JAVA

+关注

关注
19

文章
2966

浏览量
104700
C++

C++

+关注

关注
22

文章
2108

浏览量
73617
模型

模型

+关注

关注
1

文章
3226

浏览量
48804
python

python

+关注

关注
56

文章
4792

浏览量
84623

原文标题：TorchVision框架下模型导出并部署到ONNXRUNTIME C++ 全流程解析

文章出处：【微信号：CVSCHOOL，微信公众号：OpenCV学堂】欢迎添加关注！文章转载请注明出处。

如何使用OpenVINO C++ API部署FastSAM模型

象的位置和边界。本文将介绍如何使用 OpenVINO C++ API 部署 FastSAM 模型，以实现快速高效的语义分割。在前文中我们发表了《基于 OpenVINO Python API 部

发表于 11-17 09:53 •911次阅读

如何使用TensorFlow将神经网络模型部署到移动或嵌入式设备上

有很多方法可以将经过训练的神经网络模型部署到移动或嵌入式设备上。不同的框架在各种平台上支持Arm，包括TensorFlow、PyTorch、Caffe2、MxNet和CNTK，如And

发表于 08-02 06:43

C++常见设计模式解析与实现

C++常见设计模式解析与实现说明。

发表于 06-01 15:44 •11次下载

TorchScript介绍及使用

script是导出模型为中间IR格式文件，支持高性能libtorch C++部署，我们以torchvision中Mask-RCNN

发表于 05-10 11:28 •3400次阅读

使用OpenCV+ONNXRuntime部署YOLOV7目标检测

使用opencv部署的程序，有一个待优化的问题。onnxruntime读取.onnx文件可以获得输入张量的形状信息，但是opencv的dnn模块读取.onnx文件无法获得输入张量的形状信息，目前是根据.onnx文件的名称来解析

发表于 07-23 11:31 •1.1w次阅读

基于COCO的预训练模型mAP对应关系

最近一段时间本人已经全部亲测，都可以转换为ONNX格式模型，都可以支持ONNXRUNTIME框架的Python版本与C++版本推理，本文以RetinaNet为例，演示了从

发表于 10-10 11:40 •1343次阅读

如何将pytorch的模型部署到c++平台上的模型流程

最近因为工作需要，要把pytorch的模型部署到c++平台上，基本过程主要参照官网的教学示例，期间发现了不少坑，特此记录。

发表于 10-26 14:36 •3138次阅读

ONNX格式模型部署兼容性框架介绍

ONNXRUNTIME介绍 ONNX格式模型部署兼容性最强的框架 ONNXRUNTIME，基本上不会有算子不支持跟不兼容的情况出现，只要

发表于 06-19 11:50 •2468次阅读

YOLOv8对象检测ONNXRUNTIME部署C++源码演示

ONNXRUNTIME是主流的深度学习部署框架之一，支持ONNX格式模型在CPU、GPU、ARM等不同硬件平台上加速推理，支持C++、Pyt

发表于 07-17 11:13 •6504次阅读

大模型部署框架FastLLM实现细节解析

接着大模型部署框架 FastLLM 简要解析这篇文章首先梳理了一下FastLLM的调用链和关键的数据结构，然后解析了 FastLLM 的

发表于 07-27 10:48 •1320次阅读

三种主流模型部署框架YOLOv8推理演示

深度学习模型部署有OpenVINO、ONNXRUNTIME、TensorRT三个主流框架，均支持Python与C++的SDK使用。对YOLO

发表于 08-06 11:39 •2725次阅读

视觉深度学习迁移学习训练框架Torchvision介绍

Torchvision是基于Pytorch的视觉深度学习迁移学习训练框架，当前支持的图像分类、对象检测、实例分割、语义分割、姿态评估模型的迁移学习训练与评估。支持对数据集的合成、变换、增强等，此外还支持预训练

发表于 09-22 09:49 •897次阅读

基于OpenVINO C++ API部署RT-DETR模型

应用中，我们为了与当前软件平台集成更多会采用 C++ 平台，因此在本文中，我们将基于 OpenVINO C++ API 向大家展示了不包含后处理的 RT-DETR 模型的部署

发表于 11-03 14:30 •829次阅读

基于OpenVINO C# API部署RT-DETR模型

Python 和 C++ API 向大家展示了的 RT-DETR 模型的部署流程，并分别展示了是否包含后处理的

发表于 11-10 16:59 •751次阅读

通过新的ONNX导出器简化模型导出流程

大家好。我叫Manav Dalal，今天我将讲解如何通过新的ONNX导出器简化模型导出流程。如果你还没有听说过ONNX，它是一种用于表示机器学习模型

发表于 01-10 09:45 •932次阅读