0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看威廉希尔官方网站 视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

入门级i.MX6UL板卡的神经网络框架ncnn的移植与测试-米尔MYD-Y6ULX-V2开发板

飞洋 来源:blingbling111 作者:blingbling111 2023-02-18 18:19 次阅读

本篇测评由电子发烧友的优秀测评者“ALSET”提供。

米尔 MYD-Y6ULX-V2 开发板,基于 NXP i.MX6UL/i.MX6UL L处理器,该开发板被米尔称之为经典王牌产品。本次测试目标是在此开发板上进行神经网络框架ncnn的移植与测试开发,测试ncnn在此开发板上的性能与应用测试。

01.

什么是ncnn

ncnn 是腾讯优图推出的在手机端极致优化的高性能神经网络前向计算框架。也能够在移动设备上的高性能神经网络前向计算框架。ncnn 从设计之初深刻考虑移动端的部署和使用。无第三方依赖,跨平台,其中手机端 cpu的速度快于目前所有已知的开源框架。

基于ncnn,能够将深度学习算法轻松移植到手机端和移动设备上高效执行,开发人工智能应用。以腾讯内部应用为例,ncnn目前已在QQ,Qzone,微信,天天P图等上得到应用。

ncnn支持大部分常用的CNN 网络

Classical CNN: VGG AlexNetGoogleNet Inception …

Practical CNN: ResNetDenseNet SENet FPN …

Light-weight CNN:SqueezeNet MobileNetV1/V2/V3 ShuffleNetV1/V2 MNasNet …

Detection: MTCNNfacedetection …

Detection: VGG-SSDMobileNet-SSD SqueezeNet-SSD MobileNetV2-SSDLite …

Detection: Faster-RCNNR-FCN …

Detection: YOLOV2 YOLOV3MobileNet-YOLOV3 …

Segmentation: FCN PSPNetUNet …

腾讯优图实验室是主要研究计算机视觉威廉希尔官方网站 ,ncnn的许多应用方向也都在图像方面,如人像自动美颜,照片风格化,超分辨率,物体识别。

腾讯优图ncnn提供的资料显示:对比目前已知的同类框架,ncnn是cpu框架中最快的,安装包体积最小,跨平台兼容性中也是最好的。以苹果主推的CoreML为例,CoreML是苹果主推的 iOS gpu计算框架,速度非常快,但仅支持 iOS11以上的 iphone手机受众太狭窄。非开源也导致开发者无法自主扩展功能。

02.

ncnn功能简介

ncnn支持卷积神经网络,支持多输入和多分支结构,可计算部分分支无任何第三方库依赖,不依赖 BLAS/NNPACK 等计算框架纯 C++ 实现,跨平台,支持 android ios 等ARM NEON 汇编级良心优化,计算速度极快精细的内存管理和数据结构设计,内存占用极低支持多核并行计算加速,ARM big.LITTLE cpu 调度优化。

支持基于全新低消耗的 vulkan api GPU 加速整体库体积小于 700K,并可轻松精简到小于 300K可扩展的模型设计,支持 8bit 量化和半精度浮点存储,可导入 caffe/pytorch/mxnet/onnx 模型支持直接内存零拷贝引用加载网络模型可注册自定义层实现并扩展。

ncnn与同类框架对比

03.

在i.MX6ull上移植编译ncnn

工程地址:

githubhttps://github.com/Tencent/ncnn 从工程的readme文件看,该工程已经支持很多嵌入式CPU的架构,其中就有arm 32位版本。

既然支持arm32位,那么ixm6ull处理器也应该支持,即着手编译MYD-Y6ULX-V2开发板上的版本。

1.从github 上拉取ncnn源码

在主机上执行命令:

Sudo git clonehttps://github.com/Tencent/ncnn.git

可见是一个 cmake工程,那么尝试cmake 编译。

2.初次使用camke编译

先进入ixml6ull的SDK下,切换到交叉编译环境,然后创建 build 目录,进入build目录下,执行cmake命令

cmake ../

从输出信息上看 cmake失败,查看cmake 日志,发现错误原因是cmake在生成开发板的makefile文件时,需要指定使用的编译工具链。

3.添加imx6ull开发板的编译配置

根据脚本的过程,在toolchains目录下,有很多其它开发板的编译配置文件,参照其它开发板的配置文件,添加一个该开发板的配置文件。

文件名:arm-poky-linux-gnueabi.cmake

内容如下:

set(CMAKE_SYSTEM_NAME Linux)
set(CMAKE_SYSTEM_PROCESSOR arm)
set(CMAKE_C_COMPILER "arm-poky-linux-gnueabi-gcc")
set(CMAKE_CXX_COMPILER "arm-poky-linux-gnueabi-g++")
set(CMAKE_FIND_ROOT_PATH_MODE_PROGRAM NEVER)
set(CMAKE_FIND_ROOT_PATH_MODE_LIBRARY ONLY)set(CMAKE_FIND_ROOT_PATH_MODE_INCLUDE ONLY)

set(CMAKE_C_FLAGS "-march=armv7-a -mfloat-abi=hard -mfpu=neon --sysroot=/home/lutherluo/workspace/fsl-imx-fb/5.10-gatesgarth/sysroots/cortexa7t2hf-neon-poky-linux-gnueabi")
set(CMAKE_CXX_FLAGS "-march=armv7-a -mfloat-abi=hard -mfpu=neon --sysroot=/home/lutherluo/workspace/fsl-imx-fb/5.10-gatesgarth/sysroots/cortexa7t2hf-neon-poky-linux-gnueabi")

# cache flags
set(CMAKE_C_FLAGS "${CMAKE_C_FLAGS}" CACHE STRING "c flags")
set(CMAKE_CXX_FLAGS "${CMAKE_CXX_FLAGS}" CACHE STRING "c++ flags")

4.再使用cmake生成编译文件

添加完该开发板的编译工具链后,就可以使用cmake来生成编译所需的makefile文件了。在cmake时,可以指定除了编译ncnn库外,还可以编译ncnn例子程序。命令如下:

cmake-DCMAKE_BUILD_TYPE=Release -DNCNN_SIMPLEOCV=ON-DCMAKE_TOOLCHAIN_FILE=../toolchains/arm-poky-linux-gnueabi.cmake-DNCNN_BUILD_EXAMPLES=ON ..

查看目录下,已经顺利地生成了 Makefile文件。

5.使用make编译文件

然后可以正式编译ncnn库和测试样例程序了。

直接执行

make –j4

就开始愉快地编译了。

编译libncnn库文件成功,会继续自动编译 examples 下的例子文件。

大约10多分钟,顺利地全部编译完成。

在编译测试用例时,会出现库格式错误的提示,此时需要设置一下交叉编译环境下的库归档工具,系统默认使用的是arm-poky-linux-gnueabi-ar 工具,这个工具产生的 .a文件有问题,经过测试使用 arm-poky-linux-gnueabi-gcc-ar 即可。

只需要在执行切换交叉环境脚本后,再单独执行一下以下命令即可修改该问题:

export ar=arm-poky-linux-gnueabi-gcc-ar

再进行编译即可。

6.查看编译结果

编译完成后,在build目录下,可以看到 benchmark 目录,该目录下就是ncnn的基准测试工具,可以看到目标板执行文件已经编译出来。

再进入到 build/example 下,可以看到所有例程也编译出来了。

04.

板上运行测试ncnn

编译完成把可执行文件与模型文件复制到开发板里进行测试。
把 build/benchmark 下的benchmark 复制到开发板/home/root/ncnn 目录下,同时把工程根目录下的benchmark 目录下所有文件也复制到开发板 /home/root/ncnn目录下,

然后就可以执行 benchmark 执行文件来测试开发板的人工神经网络的计算能力。
先把开发环境下目标文件系统arm目录下/usr/lib下的libgomp.so.1文件复制到开发板的/usr/lib下,这个文件是并行计算库,ncnn编译时用到了这个库,这个库在多核处理器上能够支持执行并行计算。然后再在本开发板执行benchmark,执行输出结果如下图:

可见大部分的模型能够跑通了,有部分模型运行出现异常。
从抛出的分值可以评估该开发板的神经网络推理计算能力了。
这个分值是一个模型推理一次的耗时,所以数值越小意味着算力越强。考虑到这个开发板是一个arm v7入门级的开发板,这样的性能已经超乎预料了。


05.

测试基于ncnn的应用

这里在MYD-Y6ULX-V2开发板上测试ncnn的应用例子,这里就用ncnn下的例程来做测试,在上面编译完example后,在build目录下会产生example的目标板的可执行文件。编译出来的例子程序如下,把他们全部传到开发板上。

需要注意的是,除了ncnn的应用执行文件,在这些例子执行的时候,还需要模型和测试的资源文件,而这些文件体积都比较大,因此不能传送到开发板的系统目录上,需要单独存在扩展的存储空间上。
经过观察板上的文件系统,发现有3.1G的空间没有使用,此时可以使用fdisk 来格式化该空间,格式化成 ext4 格式,重启板子后,就可以看到这部分空间了,然后把ncnn的所有测试执行文件和资源文件传到该目录下,这样就够用了。

在板上执行各个测试例子,会提示缺少相关模型文件和参数文件,这些模型和参数文件在这个github上面,下载相应的文件到当前目录下就可以。
https://github.com/nihui/ncnn-assets/tree/master/models

1. 测试图片分类器
准备被测试图片,test,jpg ,传到上ncnn当前目录下

并且下载好 squeezenet_v1.1.param和 squeezenet_v1.1.bin 文件到 ncnn当前目录下,然后执行一下命令:
./squeezenet./test.jpg
很快就输出识别结果,输出结果如下图

输出结果前面的编号和分类号,具体可以参考:
mageNet20121000分类名称和编号
https://zhuanlan.zhihu.com/p/315368462
但不知本测试模型所用分类的版本是否和这个一致。
2测试图片内容多目标识别
测试图片内容识别,先用上面的图,再使用 squeezenetssd 来执行。执行前先下载 squeezenet_ssd_voc.bin和 squeezenet_ssd_voc.param 到板上ncnn当前目录下,然后执行:
./squeezenetssd./test.jpg
大约3秒左右输出结果如图:

输出的分类编号,可见代码的定义:

同时输出了识别结果图:

再测试另外一张图:

执行结果如下:

输出识别结果图:

上面的识别,因为输出的第二个目标被第三个目标遮盖,第二个识别为“Dog”,所以识别准确度还是比较高的。
再测试了一张图:
输出:

识别效果也比较理想。

06.

ncnn移植测试总结

经过在MYD-Y6ULX-V2开发板上,进行这次的ncnn移植测试,总体非常顺利,在移植中只需要针对开发板的编译器,修改添加相应的编译脚本即可顺利的编译ncnn库和所有例程。并不需要对代码做任何改动或者调整,因此过程很快,短暂的时间就可以完成ncnn这样一个神经网络框架在本开发板上运行起来。

对ncnn的benchmark的性能测试来看,因为本开发板仅为arm v7单核处理器,处于入门级的一款开发板,能跑出这样的成绩已经出乎意料。

在对实际图像分类和图像内容识别测试中,其中图像分类仅百十毫秒就出结果,对多目标识别单张图在2秒左右,这对一些静态的环境下已经能够达到业务使用的需求了,再综合其硬件性能,可见效能比是非常高的。同时工程里还带有一些各种其它框架模型转化ncnn的工具,方便将其它模型转化到ncnn上来使用,非常方便。

同时也测试出ncnn的良好的可移植性和对不同嵌入式硬件的支持较好,其它任何一个神经网络框架恐怕无法在这样一个系统上运行,因此也为这样一个有效的国产开源神经网络项目点赞。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 嵌入式
    +关注

    关注

    5082

    文章

    19107

    浏览量

    304833
  • NXP
    NXP
    +关注

    关注

    60

    文章

    1278

    浏览量

    184060
  • Linux
    +关注

    关注

    87

    文章

    11294

    浏览量

    209343
  • 开发板
    +关注

    关注

    25

    文章

    5033

    浏览量

    97375
  • 米尔电子
    +关注

    关注

    0

    文章

    109

    浏览量

    450
收藏 人收藏

    评论

    相关推荐

    米尔MYD-Y6ULX开发板免费试用

    MYC-Y6ULX系列核心米尔科技推出的基于NXP公司i.MX 6UL/6ULL系列处理器的
    发表于 12-13 11:50

    MYD-Y6ULX米尔科技推出的基于NXP公司i.MX 6UL/6ULL系列处理器的嵌入式开发板

    `简介:MYD-Y6ULX米尔科技推出的基于NXP公司i.MX 6UL/6ULL系列处理器的嵌入式开发
    发表于 12-26 01:44

    MYD-Y6ULX申请】米尔MYD-Y6ULX智能酒驾识别系统

    ,汽车电子,医疗电子,网络威廉希尔官方网站 ,AR/VR虚拟现实威廉希尔官方网站 有过深入的学习和探索。想借助发烧友论坛和米尔MYD-Y6ULX开发板完善智能酒驾识别系统项目的开源设计。项目计划:①根据文档,对
    发表于 01-02 16:56

    MYD-Y6ULX试用体验】开箱

    开箱欣赏一下。 MYD-Y6ULX米尔科技推出的基于NXP公司i.MX 6UL/6ULL系列处理器的嵌入式
    发表于 02-26 09:58

    MYD-Y6ULX试用体验】基于米尔MYD-Y6ULX开发板的酒驾测试计-结项报告

    MYD-Y6ULX开发板的酒驾测试计 首先是材料的准备:1.米尔MYD-Y6ULX开发套件一套
    发表于 03-22 09:03

    米尔i.MX6UL开发板Linux操作系统的应用开发介绍

    MYD-Y6ULX开发板i.MX6UL开发板)由MYC-Y6ULX核心和底板组成,基于NXP
    发表于 02-02 06:57

    米尔王牌产品MYD-Y6ULX-V2开发板试用体验】烧录固件+helloworld

    感谢电子发烧友、米尔科技把这次MYD-Y6ULX-V2开发板试用的机会给了我。昨天收到了开发板,今天阅读了相关资料后,进行了开箱并成功的烧录了固件,运行了第一个helloworld程序
    发表于 11-06 15:18

    米尔王牌产品MYD-Y6ULX-V2开发板试用体验】测试CAN通讯

    开发板CAN设置为接收模式:root@myd-y6ull14x14:~# candump can0 7、CAN分析仪发送数据,不管是标准,还是扩展开发板成功接收到:MYD-Y6ULX-V2
    发表于 11-07 07:37

    米尔王牌产品MYD-Y6ULX-V2开发板试用体验】2.搭建C_C++开发环境

    米尔王牌产品MYD-Y6ULX-V2开发板试用体验】2.搭建C_C++开发环境大信(QQ:8125036)电子发烧友网推出了一款
    发表于 01-08 23:54

    米尔王牌产品MYD-Y6ULX-V2开发板试用体验】3.开发板刷机和制作SD启动运行卡

    米尔王牌产品MYD-Y6ULX-V2开发板试用体验】3.开发板刷机和制作SD启动运行卡大信(QQ:8125036)电子发烧友网推出了一款米尔
    发表于 01-09 00:07

    米尔王牌产品MYD-Y6ULX-V2开发板试用体验】5.神经网络框架ncnn移植测试开发

    米尔王牌产品MYD-Y6ULX-V2开发板试用体验】神经网络框架ncnn
    发表于 01-09 00:45

    米尔科技i.mx6ul开发问题方案

    米尔基于NXP i.mx6ul/i.mx6ull系列处理的MYC-Y6ULX核心基于其高质量及成本优势被广泛应用。
    的头像 发表于 11-26 16:52 3377次阅读
    <b class='flag-5'>米尔</b>科技<b class='flag-5'>i.mx6ul</b><b class='flag-5'>开发</b>问题方案

    嵌入式Linux入门级板卡神经网络框架ncnn移植测试-米尔i.MX6UL开发板

    本篇测评由电子发烧友的优秀测评者“ALSET”提供。电子发烧友网发布了一款试用产品:米尔MYD-Y6ULX-V2开发板,基于NXPi.MX6UL/i
    的头像 发表于 02-21 10:12 751次阅读
    嵌入式Linux<b class='flag-5'>入门级</b><b class='flag-5'>板卡</b>的<b class='flag-5'>神经网络</b><b class='flag-5'>框架</b><b class='flag-5'>ncnn</b><b class='flag-5'>移植</b>与<b class='flag-5'>测试</b>-<b class='flag-5'>米尔</b><b class='flag-5'>i.MX6UL</b><b class='flag-5'>开发板</b>

    入门级嵌入式板卡的视频工具FFmpeg移植测试开发——米尔i.MX6UL/i.MX6ULL开发板

    本篇测评由电子发烧友的优秀测评者“ALSET”提供。电子发烧友网发布了一款产品:米尔MYD-Y6ULX-V2开发板,基于NXPi.MX6UL/i.M
    的头像 发表于 03-02 09:42 2914次阅读
    <b class='flag-5'>入门级</b>嵌入式<b class='flag-5'>板卡</b>的视频工具FFmpeg<b class='flag-5'>移植</b>与<b class='flag-5'>测试开发</b>——<b class='flag-5'>米尔</b><b class='flag-5'>i.MX6UL</b>/<b class='flag-5'>i.MX6</b>ULL<b class='flag-5'>开发板</b>

    基于iMX6ULL处理器的监控平台体验--米尔MYD-Y6ULX-V2开发板

    本篇测评由电子发烧友的优秀测评者“HonestQiao”提供。点击观看视频01.评测规划米尔MYD-Y6ULX-V2开发板上带有SIM卡的插槽,于是结合我之前的使用米尔板子的经验,想制
    的头像 发表于 05-25 10:49 2456次阅读
    基于iMX<b class='flag-5'>6</b>ULL处理器的监控平台体验--<b class='flag-5'>米尔</b><b class='flag-5'>MYD-Y6ULX-V2</b><b class='flag-5'>开发板</b>