0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看威廉希尔官方网站 视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

X3派AI算法推理快速入门

地瓜机器人 2022-07-18 14:24 次阅读

0 环境安装

在进行AI算法开发之前请参考X3派用户手册完成系统安装及配置,此时X3派上已默认安装好了地平线Python版本AI推理引擎(hobot_dnn)及其配套依赖环境。hobot_dnn提供了ModelpyDNNTensor、TensorProperties三个类和load接口。您可通过如下方式获取hobot_dnn的基本信息

-------------------------------------------------------------------------------------------------------------------------------

python3
>>> from hobot_dnn import pyeasy_dnn as dnn
>>> dir(dnn)
['Model', 'TensorProperties', '__doc__', '__file__', '__loader__', '__name__', '__package__', '__spec__', 'load', 'pyDNNTensor']

-------------------------------------------------------------------------------------------------------------------------------

AI推理引擎的更新可参考如下方式(出于系统安全、稳定性的考虑,建议统一通过APT命令更新X3派板级开发包):

-------------------------------------------------------------------------------------------------------------------------------

#更新package列表
sudo apt update
#升级所有已安装的软件包到最新版
sudo apt full-upgrade
#清除缓存文件(非必须)
sudo apt clean
#重启设备
sudo reboot

-------------------------------------------------------------------------------------------------------------------------------

1 推理接口介绍

1.1 Model

AI算法模型类,描述模型的名称,输入、输出数据属性信息,forward 方法用来完成算法的推理。

-------------------------------------------------------------------------------------------------------------------------------

class hobot_dnn.pyeasy_dnn.Model
'''
Parameters
1、name (string):模型名称
2、inputs (tuple(hobot_dnn.pyeasy_dnn.pyDNNTensor)):模型的输入tensor
3、outputs (tuple(hobot_dnn.pyeasy_dnn.pyDNNTensor)):模型的输出tensor
4、forward (args &args, kwargs &kwargs):模型推理函数接口,输入模型推理所必要的参数,返回模型推理结果
parameters:
input_tensor:输入数据
core_id (int):模型推理的core id,可为0,1,2,默认为0表示任意核推理
priority (int):当前模型推理任务的优先级,范围[0~255],越大优先级越高
'''

-------------------------------------------------------------------------------------------------------------------------------

其中,forward方法的input_tensor支持三种格式输入:

poYBAGLUxLSAc49LAAEU1HRQngQ810.png

forward方法的返回值为模型推理结果,有如下两种情况:

pYYBAGLUxLSAIOqJAADJF3iDWRc720.png

resizer模型指在模型转换时input_source设置为“resizer”编译生成的模型,相关配置方式可参考社区X3 用户手册。resizer模型推理时,hobot_dnn会先使用ROI从输入数据中抠图后resize到模型输入大小再送入模型进行推理。
*目前resizer模式暂只支持单输入的nv12/nv12_bt601模型。

1.2 pyDNNTensor

AI 算法输入、输出 tensor 类

-------------------------------------------------------------------------------------------------------------------------------

class hobot_dnn.pyeasy_dnn.pyDNNTensor
'''
Parameters:
1、properties (TensorProperties):tensor的属性,详细参见本文1.3节
2、buffer (numpy):tensor中的数据,数据访问方式同numpy
3、name (string):tensor的名称
'''

-------------------------------------------------------------------------------------------------------------------------------

1.3 TensorProperties

AI 算法输入/输出 tensor 的属性类

-------------------------------------------------------------------------------------------------------------------------------

class hobot_dnn.pyeasy_dnn.TensorProperties
'''
Parameters:
1、tensor_type (string):tensor的数据类型,如:NV12、BGR、float32等
2、dtype (string):数据的存储类型,同numpy数据类型,如:int8、uint8、float32等
3、layout (string):数据排布格式,NHWC或者NCHW
4、shape (tuple):数据的shape信息,例如:(1,3,224,224)
'''

-------------------------------------------------------------------------------------------------------------------------------

1.4 load

load接口用于加载模型

-------------------------------------------------------------------------------------------------------------------------------

hobot_dnn.pyeasy_dnn.load(model_file)
'''
接口支持两种模型加载方式:
1、输入模型的文件路径,加载单个模型,或者单个pack模型
model_file = "/userdata/single_model.bin"
models = hobot_dnn.pyeasy_dnn.load(model_file)
2、输入模型的文件列表,加载多个模型
model_file = ["model1.bin", "model2.bin"]
models = hobot_dnn.pyeasy_dnn.load(model_file)
接口返回hobot_dnn.pyeasy_dnn.Model类型的tuple列表
'''

-------------------------------------------------------------------------------------------------------------------------------

2 快速上手示例

X3派配套AI推理示例默认安装在/app/ai_inference目录下,包含如下示例:

-------------------------------------------------------------------------------------------------------------------------------

|-- 01_basic_sample # 从本地读取图片并完成mobilenetv1分类模型推理
|-- 02_usb_camera_sample # 从USB camera获取视频数据并完成FCOS检测模型推理
|-- 03_mipi_camera_sample # 从MIPI camera获取视频数据并完成FCOS检测模型推理
|-- 05_web_display_camera_sample # 基于MIPI Camera的FCOS目标检测及web端展示
|-- 06_yolov3_sample # 从本地读取图片并完成Yolov3检测模型推理
|-- 07_yolov5_sample # 从本地读取图片并完成Yolov5检测模型推理
`-- models

-------------------------------------------------------------------------------------------------------------------------------

本节将以01_basic_sample为例,为大家展示如何使用hobot_dnn完成模型推理。运行以下示例您需要准备编译好的混合异构模型mobilenetv1_224x224_nv12.bin(存放于/app/ai_inference/models路径下),以及一张图片zebra_cls.jpg(存放于01_basic_sample文件夹下)。

-------------------------------------------------------------------------------------------------------------------------------

from hobot_dnn import pyeasy_dnn as dnn
import numpy as np
import cv2

# 查看模型输入输出节点的信息
def print_properties(pro):
print("tensor type:", pro.tensor_type)
print("data type:", pro.dtype)
print("layout:", pro.layout)
print("shape:", pro.shape)

# 依据模型input_type_rt决定是否需要进行数据格式转换(本实例所用模型为nv12输入)
def bgr2nv12_opencv(image):
height, width = image.shape[0], image.shape[1]
area = height * width
yuv420p = cv2.cvtColor(image, cv2.COLOR_BGR2YUV_I420).reshape((area * 3 // 2,))
y = yuv420p[:area]
uv_planar = yuv420p[area:].reshape((2, area // 4))
uv_packed = uv_planar.transpose((1, 0)).reshape((area // 2,))

nv12 = np.zeros_like(yuv420p)
nv12[:height * width] = y
nv12[height * width:] = uv_packed
return nv12

# 1.加载模型
models = dnn.load('../models/mobilenetv1_224x224_nv12.bin')

# 2.查看模型输入输出节点的信息
for input in models[0].inputs:
print_properties(input.properties)
for output in models[0].outputs:
print_properties(output.properties)

# 3.准备输入数据
# 打开图片
img_file = cv2.imread('./zebra_cls.jpg')
# 把图片缩放到模型的输入尺寸
h, w = models[0].inputs[0].properties.shape[2], models[0].inputs[0].properties.shape[3]
resized_data = cv2.resize(img_file, (w, h), interpolation=cv2.INTER_AREA)
nv12_data = bgr2nv12_opencv(resized_data)

# 4.模型推理
outputs = models[0].forward(nv12_data)

# 5.后处理
np.argmax(outputs[0].buffer)
print("cls id: %d Confidence: %f" % (np.argmax(outputs[0].buffer), outputs[0].buffer[0][np.argmax(outputs[0].buffer)]))

-------------------------------------------------------------------------------------------------------------------------------

运行上述示例,即可在终端查看到如下信息:

poYBAGLUxLiAW8JhAAZI3C0maJw059.png

本文转自地平线开发者社区

原作者:颜值即正义

原链接:https://developer.horizon.ai/forumDetail/98129467158916308

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 人工智能
    +关注

    关注

    1791

    文章

    47208

    浏览量

    238290
收藏 人收藏

    评论

    相关推荐

    TMS320C3x DSP入门套件用户指南

    电子发烧友网站提供《TMS320C3x DSP入门套件用户指南.pdf》资料免费下载
    发表于 10-31 09:53 0次下载
    TMS320C<b class='flag-5'>3x</b> DSP<b class='flag-5'>入门</b>套件用户指南

    FPGA和ASIC在大模型推理加速中的应用

    随着现在AI快速发展,使用FPGA和ASIC进行推理加速的研究也越来越多,从目前的市场来说,有些公司已经有了专门做推理的ASIC,像Groq的LPU,专门针对大语言模型的
    的头像 发表于 10-29 14:12 395次阅读
    FPGA和ASIC在大模型<b class='flag-5'>推理</b>加速中的应用

    李开复:中国擅长打造经济实惠的AI推理引擎

    10月22日上午,零一万物公司的创始人兼首席执行官李开复在与外媒的交流中透露,其公司旗下的Yi-Lightning(闪电模型)在推理成本上已实现了显著优势,比OpenAI的GPT-4o模型低了31倍。他强调,中国擅长打造经济实惠的AI
    的头像 发表于 10-22 16:54 354次阅读

    TMS320LF240x DSP的C语言和汇编代码快速入门

    电子发烧友网站提供《TMS320LF240x DSP的C语言和汇编代码快速入门.pdf》资料免费下载
    发表于 10-18 10:14 0次下载
    TMS320LF240<b class='flag-5'>x</b> DSP的C语言和汇编代码<b class='flag-5'>快速</b><b class='flag-5'>入门</b>

    模拟DAC38RF8x输入/输出缓冲器信息的快速入门方法

    电子发烧友网站提供《模拟DAC38RF8x输入/输出缓冲器信息的快速入门方法.pdf》资料免费下载
    发表于 10-09 11:21 0次下载
    模拟DAC38RF8<b class='flag-5'>x</b>输入/输出缓冲器信息的<b class='flag-5'>快速</b><b class='flag-5'>入门</b>方法

    AMD助力HyperAccel开发全新AI推理服务器

    提高成本效率。HyperAccel 针对新兴的生成式 AI 应用提供超级加速的芯片 IP/解决方案。HyperAccel 已经打造出一个快速、高效且低成本的推理系统,加速了基于转换器的大型语言模型
    的头像 发表于 09-18 09:37 357次阅读
    AMD助力HyperAccel开发全新<b class='flag-5'>AI</b><b class='flag-5'>推理</b>服务器

    AM263x控制卡快速入门指南

    电子发烧友网站提供《AM263x控制卡快速入门指南.pdf》资料免费下载
    发表于 08-27 10:35 0次下载
    AM263<b class='flag-5'>x</b>控制卡<b class='flag-5'>快速</b><b class='flag-5'>入门</b>指南

    如何基于OrangePi AIpro开发AI推理应用

    。通过昇腾CANN软件栈的AI编程接口,可满足大多数AI算法原型验证、推理应用开发的需求。AscendCL(AscendComputingLanguage,昇腾计算
    的头像 发表于 06-04 14:23 525次阅读
    如何基于OrangePi AIpro开发<b class='flag-5'>AI</b><b class='flag-5'>推理</b>应用

    CW32快速开发入门

    CW32快速开发入门
    的头像 发表于 04-24 18:56 1950次阅读
    CW32<b class='flag-5'>快速</b>开发<b class='flag-5'>入门</b>

    开发者手机 AI - 目标识别 demo

    识别demo: JS实现UI界面的功能; Native接口及实现主要为JS提供接口进行AI推理。通过Native方式完成推理的前处理、推理以及后处理,这里通过调用opencv、Mind
    发表于 04-11 16:14

    AMD EPYC处理器:AI推理能力究竟有多强?

    如今,AMD EPYC处理器已经成为最常被选择用于AI推理的服务器平台,尤其是第四代Genoa EPYC 9004系列,执行AI推理的能力又得到了巨大的飞跃。
    发表于 03-15 09:47 480次阅读

    AI推理框架软件ONNX Runtime正式支持龙架构

    近日,知名AI推理框架开源社区ONNX Runtime正式发布支持龙架构的版本1.17.0。
    的头像 发表于 03-12 12:23 570次阅读
    <b class='flag-5'>AI</b><b class='flag-5'>推理</b>框架软件ONNX Runtime正式支持龙架构

    宝马(中国)召回部分进口X3、2系和X4车型

    此次型号覆盖的具体数量包括:2023年8月29日生产的进口X3车型1辆,2023年9月21日至9月25日生产的进口2系车型2辆,以及同一期间生产的进口X4车型48辆。
    的头像 发表于 03-01 14:56 806次阅读

    allegro快速入门教程

    电子发烧友网站提供《allegro快速入门教程.pdf》资料免费下载
    发表于 02-29 09:32 70次下载

    科大讯飞推出AI扫拖机器人X3:主打“指哪扫哪”

    机器人AI
    北京中科同志科技股份有限公司
    发布于 :2024年02月22日 10:11:12