当前位置: 首页 > news >正文

基于DeploySharp 的深度学习模型部署测试平台:支持YOLO全系列模型

1. 程序获取和下载

  基于DeploySharp 开发的深度学习模型部署测试平台,提供了YOLO框架的主流系列模型,包括YOLOv5~v13,以及其系列下的Detection、Segmentation、Oriented Bounding Box、Human Pose Estimation等应用场景。模型部署引擎支持OpenVINO™、ONNX runtime,支持CPU、IGPU以及GPU多种设备推理。项目链接为:

https://github.com/guojin-yan/DeploySharp/tree/DeploySharpV1.0/applications

  如果你想快速使用该平台,可以加入QQ技术交流群通过群文件下载,或者通过GitHub在DeploySharp 项目中下载。

 git clone https://github.com/guojin-yan/DeploySharp.gitcd DeploySharp/applications

  打开指定目录后,直接打开DeploySharp-Applications.sln解决方案即可。

image-20251003123525415

  打开解决方案后,资源管理器中有两个项目,一个是.NET 6.0框架,一个是.NET Framework 4.8框架,用户可以根据自己需求进行运行。

image-20251003123554619

  程序运行后页面如下图所示:

image-20251002182043813

2. 平台介绍

2.1 支持的模型选项

基于DeploySharp 开发的深度学习模型部署测试平台所支持的模型列表与DeploySharp 库一致,后续会跟着DeploySharp 迭代进行同步更新,具体支持的模型:

image-20251003131537123

开发者在使用时,可以根据自己需求进行选择,但在使用时,模型路径“Model Path”选择的模型类型,要和“Model Type保持一致,否者程序运行可能出差或者结果出现错误。

2.2 支持的推理引擎工具

基于DeploySharp 开发的深度学习模型部署测试平台所支持多种推理引擎,其中已经开发完成并已经支持的有OpenVINO和ONNX Runtime,其中TensorRT正在开发中,不日后会完成支持。

image-20251003131610600

其中当推理设备选择ONNX Runtime时,还可以选择ONNX Runtime运行的推理引擎,支持的内容如下图所示:

image-20251003131828937

​ ONNX Runtime支持的更多加速方式,需要用户自己进行代码构建,其构建流程与方式,参考官方教程即可,链接为:

https://runtime.onnx.org.cn/docs/execution-providers/

2.3 支持的推理设备

同时用户还可以选择不同的推理设备,包括AUTO、CPU、GPU0、GPU1、NPU,其中GPU0、GPU1表示的含义要在使用的推理引擎工具中确定。

image-20251003131706230

3. 推理引擎和设备匹配使用

推理引擎 推理设备 ONNX加速
OpenVINO AUTO,CPU,GPU0(Intel 集显),GPU1(Intel 独显),NPU Default
ONNX Runtime CPU Default
ONNX Runtime AUTO,CPU,GPU0(Intel 集显),GPU1(Intel 独显),NPU OpenVINO
ONNX Runtime GPU0(英伟达独显),GPU1(英伟达独显) Cuda
ONNX Runtime GPU0,GPU1 DML

4. 程序运行示例

在对应的项目中,图像处理库已经安装,不同项目就是使用的不同图像处理库,下面演示使用不同的模型推理引擎使用流程。

4.1 OpenVINO推理

所下载的项目中已经配置好了OpenVINO环境,选择模型和图片后,直接运行即可。推理结果如下图所示:

image-20251003141905755

如果使用的是.NET Framework 4.8框架,在程序运行前,请卸载并重新安装一下OpenVINO.runtime.win NuGet Package,重新生成项目后,进入到项目bin/Debug或者bin/Release目录,找到该目录下的文件夹dll/win-x64,在该目录下可以看到openvino_c.dll文件,然后将该目录下所有文件,复制到bin/Debug或者bin/Release目录下,重新再生成一下项目。如果使用的.NET 6.0框架,

4.2 ONNX Runtime推理

如果只是用ONNX Runtime推理,不需要安装其他的依赖既可以使用,默认只能使用CPU推理,如下图所示:

image-20251003143004837

4.3 ONNX Runtime推理 + OpenVINO加速

如果是用ONNX Runtime推理并配合OpenVINO加速,则需要安装额外的依赖库:

Intel.ML.OnnxRuntime.OpenVino

安装完成后,运行程序即可,其中原生OpenVINO支持的推理设备AUTO、CPU、GPU0(Intel 集显)、GPU1(Intel 独显)、NPU,在此处均可以使用,如下图所示:

image-20251003144046348

如果使用的是.NET Framework 4.8框架,安装完Intel.ML.OnnxRuntime.OpenVino后,如果依旧报错:”无法在 DLL“onnxruntime”中找到名为“OrtSessionOptionsAppendExecutionProvider_OpenVINO”的入口点。”,可以找到Intel.ML.OnnxRuntime.OpenVino包目录,然后将该目录下的所有dll文件,复制到项目的bin/Debug或者bin/Release目录下即可。

4.4 ONNX Runtime推理 + DML加速

如果是用ONNX Runtime推理并配合DML加速,则需要安装额外的依赖库:

Microsoft.ML.OnnxRuntime.DirectML

安装完成后,运行程序即可,此处可以使用GPU、GPU1,如下图所示:

image-20251003145255956

5.模型运行时间测试

​ 在开发的模型部署平台上进行时间测试,当前的测试环境为:

  • CPU: Intel(R) Core(TM) Ultra 9 288V
  • IGPU: Intel(R) Arc(TM) 140V GPU (16GB)
  • NPU: Intel(R) AI Boost

在同一环境下,对其中一些模型进行了测试,如下表所示:

Model Name OpenVINO CPU OpenVINO IGPU OpenVINO NPU ONNX Runtime CPU ONNX Runtime OpenVINO CPU ONNX Runtime DirectML IGPU
YOLOv5s-det 16.84 FPS 60.23 FPS 48.36 FPS 21.06 FPS 16.80 FPS 40.11 FPS
YOLOv5-seg 8.91 FPS 21.24 FPS 20.11 FPS 10.86 FPS 8.56 FPS 16.54 FPS
YOLOv8s-det 12.02 FPS 67.74 FPS 51.84 FPS 14.84 FPS 11.52 FPS 36.38 FPS
YOLOv8s-seg 6.30 FPS 15.96 FPS 14.09 FPS 7.17 FPS 6.24 FPS 12.71 FPS
YOLOv8s-obb 4.61 FPS 35.13 FPS 20.02 FPS 5.62 FPS 4.56 FPS 15.80 FPS
YOLOv11s-det 13.48 FPS 62.40 FPS 53.51 FPS 15.71 FPS 13.41 FPS 38.83 FPS
YOLOv11s-seg 6.64 FPS 16.18 FPS 14.46 FPS 7.55 FPS 6.59 FPS 12.74 FPS
YOLOv11s-obb 5.58 FPS 33.14 FPS 19.99 FPS 6.35 FPS 5.56 FPS 17.87 FPS

  以上便是基于DeploySharp 开发的深度学习模型部署测试平台的安装和使用教程。最后如果各位开发者在使用中有任何问题,欢迎大家与我联系。

image-20250224211044113

http://www.hskmm.com/?act=detail&tid=26213

相关文章:

  • 复制别人的vmware虚拟机无法联网ubuntu2204
  • 计算机网络学习分享-0
  • 预科02git使用
  • 预科01Python复习
  • 预科01Python学习
  • 5G-A:开启通信与行业变革的新时代 - 指南
  • Linq的join
  • 实用指南:用PyTorch从零开始编写DeepSeek-V2
  • 十所高校角逐对话式AI任务机器人挑战赛
  • SCIM漏洞挖掘实战指南
  • 虚拟文件系统
  • 博客迁移至CSDN!!!
  • 博客迁移到CSDN!!!
  • 手动实现一个C++绑定Lua脚本的库
  • 代码随想录算法训练营第十天 | leetcode 232 225 20 1047
  • openJDK历史版本
  • 2025冲压件厂家权威推荐榜:冲压件/新能源冲压件/光伏冲压件/精密冲压件/异形冲压件/五金冲压件/铝冲压件/汽配冲压件/不锈钢冲压件/家具冲压件厂家公司精密制造与品质保障实力之选
  • 图解C++智能指针的循环引用
  • 国庆收心指南:用AI提示词工程解决节后综合征
  • CF1895F Fancy Arrays
  • 文件系统的全局结构
  • 2025.10.7
  • 自由型象棋分析程序
  • 前端HTML contenteditable 属性使用指南 - 教程
  • luogu P1648 看守
  • 题解:P11219 【MX-S4-T3】「yyOI R2」youyou 的序列 II
  • Seismic Unix 基础使用
  • 2025实验室净化厂家/实验室装修厂家/实验室建设厂家权威推荐榜:专业设计与洁净技术实力之选
  • 修改注册表,实现电脑小键盘开机自启(NumLock灯常亮)
  • 完整教程:nav2笔记-250603