0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看威廉希尔官方网站 视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

在赛灵思FPGA SoC平台上使用VITIS AI加速人工智能应用

星星科技指导员 来源:嵌入式计算设计 作者:Vaibhav Kothari 2022-11-22 14:48 次阅读

VITIS 是一个用于开发软件和硬件的统一软件平台,将 Vivado 和其他组件用于 Xilinx FPGA SoC 平台,如 ZynqMP UltraScale+ 和 Alveo 卡。VITIS SDK的关键组件,VITIS AI运行时(VART),为在边缘和云端部署终端ML/AI应用程序提供了一个统一的接口

机器学习中的推理是计算密集型的,需要高内存带宽和高性能计算,以满足各种终端应用的低延迟和高吞吐量需求。

维蒂斯人工智能工作流程

Xilinx Vitis AI 提供了一个工作流程,使用简单的流程在 Xilinx 深度学习处理单元 (DPU) 上部署深度学习推理应用:

深度处理单元 (DPU) 是一个可配置的计算引擎,针对深度学习推理应用的卷积神经网络进行了优化,并放置在可编程逻辑 (PL) 中。DPU 包含高效且可扩展的 IP 核,可进行定制以满足许多不同应用的需求。DPU 定义自己的指令集,Vitis AI 编译器生成指令。

VITIS AI編譯器以優化的方式安排指令,以獲得最大的效能。

在 Xilinx ZynqMP UltraScale+ SoC 平台上运行任何 AI 应用程序的典型工作流程包括以下内容:

模型量化

模型编译

模型优化(可选)

构建 DPU 可执行文件

构建软件应用程序

集成 VITIS AI 统一 API

编译和链接混合 DPU 应用程序

在 FPGA 上部署混合 DPU 可执行文件

人工智能量化器

AI 量化器是一种用于量化过程的压缩工具,通过将 32 位浮点权重和激活转换为定点 INT8。它可以在不丢失模型准确信息的情况下降低计算复杂性。定点模型需要更少的内存,因此提供比浮点实现更快的执行速度和更高的电源效率。

人工智能编译器

AI 编译器将网络模型映射到高效的指令集和数据流。编译器的输入是量化的 8 位神经网络,输出是 DPU 内核 - 可执行文件将在 DPU 上运行。在这里,不支持的层需要部署在CPU中,或者可以自定义模型来替换和删除那些不支持的操作。它还执行复杂的优化,如层融合、指令调度和片上存储器的重用。

一旦我们能够执行 DPU,我们需要使用 Vitis AI 统一的 API 来初始化数据结构,初始化 DPU,在 CPU 上实现 DPU 不支持的层,并根据需要在 PL/PS 上添加预处理和后处理。

人工智能优化器

凭借其模型压缩威廉希尔官方网站 ,AI 优化器可以将模型复杂性降低 5-50 倍,同时对准确性的影响最小。这种深度压缩将推理性能提升到一个新的水平。我们可以实现所需的稀疏性并将运行时间缩短 2.5 倍。

AI 分析器

AI 探查器可以帮助分析推理查找导致端到端管道瓶颈的注意事项。性能分析器为设计人员提供了 DPU/CPU/内存的通用时间线。此过程不会更改任何代码,并且可以跟踪函数并进行分析。

人工智能运行时

VITIS AI 运行时 (VART) 允许应用程序使用统一的高级运行时 API 进行边缘和云部署,使其无缝且高效。一些主要功能包括:

异步作业提交

异步作业收集

C++Python 实现

多线程和多进程执行

Vitis AI还提供DSight,DExplorer,DDump和DLet等,用于各种任务执行。

DSight & DExplorer

DPU IP 为特定内核提供了多种配置,可根据网络型号进行选择。DSight 告诉我们每个 DPU 内核的利用率百分比。它还提供了调度程序的效率,以便我们可以调整用户线程。还可以查看性能数字,例如每层和每个DPU节点的MOPS,运行时和内存带宽。

Softnautics选择 Xilinx ZynqMP UltraScale+ 平台进行高性能和计算部署。它提供最佳的應用處理、高度可配置的 FPGA 加速功能,以及 VITIS SDK,以加速高性能 ML/AI 推理。我们针对的一个这样的应用是用于 Covid-19 筛查的口罩检测。其目的是根据各国政府对 Covid-19 预防措施指南的要求,部署多流推理,用于对戴口罩的人进行 Covid-19 筛查并实时识别违规行为。

我们准备了一个数据集并选择了预先训练的权重来设计一个用于掩模检测和筛选的模型。我们通过TensorFlow框架训练和修剪了我们的自定义模型。这是人脸检测和面具检测的两阶段部署。这样获得的训练模型是通过前面章节中介绍的VITIS AI工作流程传递的。我们观察到推理时间的速度是 CPU 的 10 倍。Xilinx 提供不同的调试工具和实用程序,在初始开发和部署过程中非常有用。在初始部署阶段,我们没有检测到掩码和非掩码类别。我们尝试将基于 PC 的推理输出与一个名为 Dexplorer 的调试实用程序之一的输出相匹配。但是,调试模式和根导致问题进一步调试。运行量化器后,我们可以使用更大的校准图像、迭代和检测来调整输出,视频馈送的准确率约为 96%。我们还尝试使用 AI 分析器识别管道中的瓶颈,然后采取纠正措施通过各种方式消除瓶颈,例如使用 HLS 加速来计算后处理中的瓶颈。

审核编辑:郭婷

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • FPGA
    +关注

    关注

    1629

    文章

    21735

    浏览量

    603119
  • soc
    soc
    +关注

    关注

    38

    文章

    4164

    浏览量

    218203
  • 人工智能
    +关注

    关注

    1791

    文章

    47234

    浏览量

    238351
收藏 人收藏

    评论

    相关推荐

    嵌入式和人工智能究竟是什么关系?

    人工智能的结合,无疑是科技发展中的一场革命。人工智能硬件加速中,嵌入式系统以其独特的优势和重要性,发挥着不可或缺的作用。通过深度学习和神经网络等算法,嵌入式系统能够高效地处理大量数
    发表于 11-14 16:39

    soc人工智能中的创新应用

    社会计算(Social Computing, SOC)是一个跨学科领域,它结合了社会科学、计算机科学和人工智能,以理解和设计社会互动中的威廉希尔官方网站 系统。随着人工智能AI)威廉希尔官方网站 的发展,
    的头像 发表于 11-10 09:30 378次阅读

    AI for Science:人工智能驱动科学创新》第6章人AI与能源科学读后感

    幸得一好书,特此来分享。感谢平台,感谢作者。受益匪浅。 阅读《AI for Science:人工智能驱动科学创新》的第6章后,我深刻感受到人工智
    发表于 10-14 09:27

    AI for Science:人工智能驱动科学创新》第4章-AI与生命科学读后感

    很幸运社区给我一个阅读此书的机会,感谢平台。 《AI for Science:人工智能驱动科学创新》第4章关于AI与生命科学的部分,为我们揭示了人工
    发表于 10-14 09:21

    AI for Science:人工智能驱动科学创新》第二章AI for Science的威廉希尔官方网站 支撑学习心得

    非常高兴本周末收到一本新书,也非常感谢平台提供阅读机会。 这是一本挺好的书,包装精美,内容详实,干活满满。 关于《AI for Science:人工智能驱动科学创新》第二章“AI
    发表于 10-14 09:16

    AI for Science:人工智能驱动科学创新》第一章人工智能驱动的科学创新学习心得

    周末收到一本新书,非常高兴,也非常感谢平台提供阅读机会。 这是一本挺好的书,包装精美,内容详实,干活满满。 《AI for Science:人工智能驱动科学创新》这本书的第一章,作为整个著作的开篇
    发表于 10-14 09:12

    risc-v人工智能图像处理应用前景分析

    、RISC-V人工智能图像处理中的应用案例 目前,已有多个案例展示了RISC-V人工智能图像处理中的应用潜力。例如: Esperanto威廉希尔官方网站 公司 :该公司制造的首款高性能RISC-
    发表于 09-28 11:00

    人工智能ai 数电 模电 模拟集成电路原理 电路分析

    人工智能ai 数电 模电 模拟集成电路原理 电路分析 想问下哪些比较容易学 不过好像都是要学的
    发表于 09-26 15:24

    人工智能ai4s试读申请

    目前人工智能在绘画对话等大模型领域应用广阔,ai4s也是方兴未艾。但是如何有效利用ai4s工具助力科研是个需要研究的课题,本书对ai4s基本原理和原则,方法进行描诉,有利于总结经验,拟
    发表于 09-09 15:36

    名单公布!【书籍评测活动NO.44】AI for Science:人工智能驱动科学创新

    、污染治理、碳减排三个方面介绍了人工智能为环境科学引入的新价值和新机遇。 第8章探讨了AI for Science快速发展过程中面临的机遇和挑战,并对“平台科研”模式进行了展望。
    发表于 09-09 13:54

    报名开启!深圳(国际)通用人工智能大会将启幕,国内外大咖齐聚话AI

    8月28日至30日,2024深圳(国际)通用人工智能大会暨深圳(国际)通用人工智能产业博览会将在深圳国际会展中心(宝安)举办。大会以“魅力AI·无限未来”为主题,致力于打造全球通用人工智能
    发表于 08-22 15:00

    FPGA人工智能中的应用有哪些?

    FPGA(现场可编程门阵列)人工智能领域的应用非常广泛,主要体现在以下几个方面: 一、深度学习加速 训练和推理过程加速
    发表于 07-29 17:05

    FPGA flash操作原理

    FPGA flash操作原理分享
    的头像 发表于 04-09 15:03 994次阅读

    为何高端FPGA都非常重视软件

    转化为针对其问题的合理优化的基于FPGA的解决方案的途径。 作为其Vitis统一软件平台声明的一部分,
    发表于 03-23 16:48

    嵌入式人工智能的就业方向有哪些?

    。 国内外科技巨头纷纷争先入局,微软、谷歌、苹果、脸书等积极布局人工智能的同时,国内的BAT、华为、小米等科技公司也相继切入到嵌入式人工智能的赛道。那么嵌入式AI可就业的方向有哪些呢
    发表于 02-26 10:17