文章作者:
01简介
《在 AI 爱克斯开发板上用 OpenVINO 加速 YOLOv8 分类模型》介绍了在 AI 爱克斯开发板上使用 OpenVINO开发套件部署并测评 YOLOv8 的分类模型,本文将介绍在 AI 爱克斯开发板上使用 OpenVINO 加速 YOLOv8 目标检测模型。
请先下载本文的范例代码仓,并搭建好 YOLOv8 的 OpenVINO 推理程序开发环境:
git clone
https://gitee.com/ppov-nuc/yolov8_openvino.git
02导出 YOLOv8 目标检测 OpenVINO IR 模型
YOLOv8 的目标检测模型有5种,在 COCO 数据集完成训练,如下表所示。
首先使用命令:
yoloexport model=yolov8n.pt format=onnx
完成 yolov8n.onnx 模型导出,如下图所示:
然后使用命令:
mo -m yolov8n.onnx --compress_to_fp16
优化并导出 FP16 精度的 OpenVINO IR 格式模型,如下图所示:
03用 benchmark_app 测试
yolov8 目标检测模型的推理计算性能
benchmark_app 是 OpenVINO 工具套件自带的 AI 模型推理计算性能测试工具,可以指定在不同的计算设备上,在同步或异步模式下,测试出不带前后处理的纯 AI 模型推理计算性能。
使用命令:
benchmark_app -m yolov8n.xml -d GPU
获得 yolov8n.xml 模型在 AI 爱克斯开发板的集成显卡上的异步推理计算性能,如下图所示:
YOLOv8 目标检测模型推理程序
用 Netron 打开 yolov8n.onnx ,如下图所示,可以看到模型的输入是形状为[1,3,640,640]的张量,输出是形状为[1,84,8400]的张量,其中“84”的定义为:cx,cy,h,w和80种类别的分数。“8400”是指 YOLOv8 的3个检测头在图像尺寸为640时,有640/8=80, 640/16=40, 640/32=20, 80x80+40x40+20x20=8400个输出单元格。
基于 OpenVINO Python API 的 YOLOv8 目标检测模型的范例程序:
yolov8_od_ov_sync_infer_demo.py
其核心源代码如下所示:
# 实例化Core对象 core = Core() # 载入并编译模型 net = core.compile_model(f'{MODEL_NAME}.xml', device_name="AUTO") # 获得模型输出节点 output_node = net.outputs[0] # yolov8n只有一个输出节点 ir = net.create_infer_request() cap = cv2.VideoCapture("store-aisle-detection.mp4") while True: start = time.time() ret, frame = cap.read() if not ret: break # 图像数据前处理 [height, width, _] = frame.shape length = max((height, width)) image = np.zeros((length, length, 3), np.uint8) image[0:height, 0:width] = frame scale = length / 640 blob = cv2.dnn.blobFromImage(image, scalefactor=1 / 255, size=(640, 640), swapRB=True) # 执行推理计算 outputs = ir.infer(blob)[output_node] # 推理结果后处理并显示处理结果 outputs = np.array([cv2.transpose(outputs[0])]) ... ... cv2.imshow('YOLOv8 OpenVINO Infer Demo on AIxBoard', frame)
向右滑动查看完整代码
yolov8_od_ov_sync_infer_demo.py 运行结果,如下图所示:
05结论
AI 爱克斯开发板借助 N5105 处理器的集成显卡(24个执行单元)和 OpenVINO ,可以在 YOLOv8 的目标检测模型上获得相当不错的性能。通过异步处理和 AsyncInferQueue ,还能进一步提升计算设备的利用率,提高 AI 推理程序的吞吐量。
下一篇将继续介绍在《在 AI 爱克斯开发板上用 OpenVINO 加速 YOLOv8-Seg 实例分割模型》。
审核编辑:汤梓红
-
英特尔
+关注
关注
61文章
9953浏览量
171699 -
物联网
+关注
关注
2909文章
44573浏览量
372843 -
AI
+关注
关注
87文章
30758浏览量
268903 -
开发板
+关注
关注
25文章
5033浏览量
97382 -
模型
+关注
关注
1文章
3229浏览量
48811
原文标题:在AI爱克斯开发板上用OpenVINO™加速YOLOv8目标检测模型 | 开发者实战
文章出处:【微信号:英特尔物联网,微信公众号:英特尔物联网】欢迎添加关注!文章转载请注明出处。
发布评论请先 登录
相关推荐
评论