0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看威廉希尔官方网站 视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

应用TFLm引擎进行模型文件导入

恩智浦MCU加油站 来源:恩智浦MCU加油站 作者:恩智浦MCU加油站 2022-07-28 09:05 次阅读

书接上文(点此查看前文),我们横向比较了在应用TFLm引擎进行模型文件导入时候,所使用的三种常用方式:

SD卡存储结合文件系统,

xxd小工具进行文件的十六进制转换

以及使用汇编指令.incbin直接进行模型导入。

可以说各有所长,但是,当我们需要频繁地进行模型的替换、更新时,麻烦就出现了。xxd和.incbin的形式都需要重新编译目标工程,并下载到板子中。 当我们的程序体量较大时,即便不需要对全部工程进行编译(做到改啥编啥),但是,下载这一步,是无论如何不能跳过的,随着最终镜像大小的不同,所消耗的时间也会不同。而使用文件系统的方式,无形中增加了移植文件系统的工作量。

设计思路

为了克服这一问题,小编在上一篇的结尾提出了一个新的方案,直接把flash看作一大块空白存储区,并开辟一个固定区域存放模型文件。这样一来,我们只需要在程序中将模型的读取位置固定,无论模型是否更新,都能够读取最新的模型数据,进行后续处理。 而且小编也特意强调建议大家直接使用Nor Flash来实现这一操作。 以i.MX RT系列MCU为例说明这样做的优势。i.MX RT系列由于没有片上Flash芯片,都通过外扩Flash芯片存储代码。当我们将启动方式调整为XIP,即从flash启动时,芯片内部的BootROM会帮我们配置初始化好这个片上的Flash芯片,而由于Nor Flash的特性,支持随机的内存访问,也就是说,我们在程序内部,可以直接通过指针的形式进行访问,甚至可以直接调用memcpy函数进行数据的拷贝。 比起集成文件系统的方式,可以说方便至极。不过,也不是说Nand Flash就不适合,只是处理起来会稍稍麻烦一点,由于不支持随机的读操作,就要先拷贝到RAM区域再进行操作。

设计实现

言归正传,为了方便进行数据的管理,我们需要设计一套简单的管理逻辑,说的专业一点就是为我们的数据添加一个帧头,当然,既然大道至简,数据打包格式大致就是如下格式(可能有些简陋啊,大家见谅):

3fdb6114-0e0e-11ed-ba43-dac502259ad0.png

当然为了能够在程序中使用,我们再定义一个对应的C语言形式来表达,这里要用到C语言中0长度数组的概念:

struct {
uint32_t n, w, h , c;
uint8_t data[0];
}

这样一来,我们就具象化了我们所设计的那个简单的数据打包协议。

下一步是如何将数据打包成我们要的样子,这里要借助于Python来编写一个简单的脚本处理,并假设最终会生成一个二进制文件,假设输入一个多维数组results,首先构建其帧头,默认维度不足4的数据,用1补齐,保证最终的帧头包含4个维度信息

def save_to_bin(bin_name, results):
    shape = list(results[0].shape)
    element_size = [1] * (3 - len(shape)) + shape
    element_len = len(results)
    # shape is [N, H, W, C]
    bin_values = np.asarray([element_len] + element_size, dtype=np.uint32).tobytes()
    bin_values += results.tobytes()
    with open(bin_name, "wb") as f:
        f.write(bin_values)
        f.close()

聊到这儿,可能有同学会问了,针对于tflite模型,我们往往只需要知道其首地址就好了,TFLm会处理那些长度信息,我还有必要构造帧头吗?这下给小编问的有点哑口无言。马上着手设计了第二种数据结构:

3fe7dcbe-0e0e-11ed-ba43-dac502259ad0.png

是的,针对于模型数据这一特殊的存在,可以设计出更加精简的表达格式,而且,我们知道tflite模型本身实际上已经是二进制文件的形式了,也就是说,可以直接拿过来使用,无需再做任何操作,直接烧写到固定地址即可。

那我们上面所设计的数据结构就毫无用武之地了吗?当然不是!小编做这些当然都是有理由的啊。

大家想一想,运行神经网络模型的时候,光有模型就可以了吗?当然不,我们还缺少输入啊!如果你是摄像头输入,请跳过这节。而如果是离线测试呢?需要大量加载静态图到内存中,是不是和之前我们的分析就类似了。

每次更换测试数据,依旧需要重新下载链接,那么按照本文提供的方案,也为数据设置一块固定的区域,然后借助于上述save_to_bin代码,将数据打包成固定格式,是不是就可以在程序中利用那个结构体访问了呢?没错!小编早就设计好了。

审核编辑:彭静
声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 芯片
    +关注

    关注

    455

    文章

    50771

    浏览量

    423409
  • mcu
    mcu
    +关注

    关注

    146

    文章

    17141

    浏览量

    351099
  • 编译
    +关注

    关注

    0

    文章

    657

    浏览量

    32867

原文标题:一种基于MCU的神经网络模型在线更新方案之数据处理篇

文章出处:【微信号:NXP_SMART_HARDWARE,微信公众号:恩智浦MCU加油站】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    如何导入Altium Designer的原理图和PCB?

    Altium Designer,并选择需要导入的原理图文件。 这里有个小技巧,如果是层次结构,请选择顶层原理图进行导入,这样系统会自动导
    的头像 发表于 11-12 12:21 1023次阅读
    如何<b class='flag-5'>导入</b>Altium Designer的原理图和PCB?

    火山引擎推出豆包·视频生成模型

    在近期举办的2024火山引擎AI创新巡展上,火山引擎总裁谭待隆重推出了豆包·视频生成模型,这一举措标志着火山引擎在视频内容生成领域迈出了重要一步。豆包
    的头像 发表于 09-25 14:11 296次阅读

    一个晶体管的spice模型,可以导入TINA吗?

    一个晶体管的spice模型,可以导入TINA吗?谢谢
    发表于 08-26 06:30

    请问如何使用TINA-TI导入Spice Macromodel模型

    我在TI网站下载LM311的Tina*** 模型,但是只有标题为LM311 *** Macromodel的模型,下载后打开,格式为LM311.301,请问如何使用TINA-TI导入
    发表于 08-16 08:13

    TiNa无法导入tlp520的Pspice模型的原因?怎么解决?

    TiNa无法导入tlp520的Pspice模型
    发表于 08-15 08:26

    TINA如何导入OPA356模型

    请问TINA如何导入OPA356模型
    发表于 08-14 07:55

    求助,关于AD8000 cir文件导入问题求解

    从LT公司下载的AD8000.CIR文件里包含三个subject,导入宏,提示有多个子电路,选择其中的AD8000,建立模型以后,仿真不正常,应该是其他两个子电路没有导入 问题。
    发表于 08-07 07:12

    导入keras或者onnx模型到cubeai进行分析,为什么会报错?

    请问我导入keras或者onnx模型到cubeai进行分析,为什么会报错,而且没有报错内容,cubeai版本9.0.0。换成8.1.0版本后报错内容是invalid network。该怎么入手解决。
    发表于 07-03 07:55

    为什么用CubeIDE导入AI模型进行分析会报错?

    python已经安装好了,但是在用CubeAI的时候,导入模型进行分析会报错,无法分析。有知道为什么会报[AI:persondetection][12152] Failed to execute
    发表于 05-22 06:38

    为什么Cubeai导入模型的时候报错[AI:persondetection] ModuleNotFoundError: No module named \'_socket\'?

    在使用CubeIde导入ai模型进行模型分析的时候报错[AI:persondetection] ModuleNotFoundError: No module named \'_sock
    发表于 05-21 06:44

    cubemx ai导入onnx模型后压缩失败了怎么解决?

    cubemx ai导入onnx模型后压缩失败。请问我怎么解决
    发表于 03-19 07:58

    谷歌模型怎么PS打开文件格式不变

    要将谷歌模型与Photoshop结合使用,并保持文件格式不变,这通常涉及将谷歌模型生成的图像或图形导入到Photoshop中进行进一步编辑或
    的头像 发表于 02-29 18:09 866次阅读

    使用ml configurator进行tflite网络模型的转换不成功怎么解决?

    使用ml configurator进行tflite网络模型的转换不成功,提示错误,请帮忙协助谢谢 [ERROR] Failed to run QEMU
    发表于 01-31 06:56

    IBIS模型如何导入到LTspice中?

    IBIS模型如何导入到LTspice中
    发表于 01-03 06:23

    kicad怎么打开导入非kicad文件

    KiCad是一款优秀的电子设计自动化(EDA)软件,它提供了强大的功能来设计电路图和PCB布局。然而,有时候我们可能需要导入一些非KiCad文件,例如从其他EDA软件导出的文件或者从制造商提供的
    的头像 发表于 01-02 13:54 2827次阅读