0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看威廉希尔官方网站 视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

嵌入式AI/ML的主要应用市场及趋势

星星科技指导员 来源:Xilinx 作者:郭冰清 2022-05-30 10:55 次阅读

近年来,AI 在边缘端的应用已成为不可阻挡的趋势,嵌入式AI指的就是这种在边缘端即可高效处理各种深度学习神经网络的应用加速模式。嵌入式AI能够让产品在设备层即可发挥智能化的检测、识别、分类等功能,因此成为智能产品开发或产业升级换代的热点。

然而,嵌入式AI不仅涉及软件层面的算法设计,工具设计,也涉及硬件层面的芯片设计等一系列集成问题,因此也是一个门槛和复杂度极高的领域。

嵌入式 AI/ML 的主要应用市场及趋势

ADAS 和自动驾驶、智慧城市、智慧医疗和工业视觉应用,是嵌入式 AI 应用的典型场景,也是赛灵思 一直专注的市场领域。

汽车领域

在汽车领域,赛灵思主要关注前视、后视、环视、盲区检测、自动泊车、智能座舱及、传感器融合和域控等覆盖从L2到L5级别的ADAS及自动驾驶。我们知道,汽车是一个特殊的场景,它对整个ADAS或自动驾驶系统的实时性和正确性有极高的要求,这就需要嵌入式芯片同时具备卓越的AI加速能力、灵活应变的芯片架构,还需要满足行业最高的可靠性测试标准。赛灵思在今年6月份推出的7nm VersalTM AI Edge 系列,和当前ZynqTM UltraScale+ MPSoC系列,都涵盖了汽车等级,并提供行业领先的AI算力及灵活性。

值得一提的是,为了保证车辆行驶中决策和控制的快速性及正确性,多传感器融合是一个必然的趋势。如今,汽车搭载了越来越多的传感器,如摄像头、雷达、激光雷达、毫米波雷达、超声波等,赛灵思也为这种多传感器架构带来了巨大价值。赛灵思产品一方面能够增强高级信号处理、点云预处理,另一方面,通过Vitis AI还可以实现点云机器学习加速、Image-Lidar融合算法加速、4D 雷达机器学习加速等;这些在汽车多传感器方案,甚至5G结合AI的车路协同中都扮演重要的角色。

智慧城市领域

赛灵思产品在智慧城市领域已有广泛的应用,如智慧交通、智慧零售、智慧楼宇等。赛灵思产品除了本身具备灵活的I/O,支持MIPI、LVDS和多种传感器接口、灵活的ISP支持策略、H264/H265视频编解码处理单元等能力以外,还具备强大的实时AI处理能力。

今年 4 月,赛灵思面向边缘计算推出了基于Zynq UltraScale+ MPSoC的Kria K26 SOM卡和KV260视觉开发套件。同样得益于VitisTM AI所带来的AI性能加速,用户能够在这块边缘设备上实现多路、最高分辨率达4k、60帧的实时人脸检测、ID跟踪等功能;此外,Kria SoM也完全兼容赛灵思开放式AI模型库,用户可以从中选取模型任意切换或重新训练部署,总之,Kria SoM非常适合智能相机、嵌入式视觉及其它安全、零售分析、智慧城市和机器视觉应用的生产和原型开发。

医疗及工业视觉领域

医疗及工业视觉领域也是赛灵思嵌入式AI落地的重要场景。在医疗领域,我们可以提供基于深度学习的医疗影像分析或超分辨率增强,用AI为医护人员在内窥镜、超声、核磁、X光检测等场景提供更准确的判断。自2019年新冠病毒蔓延以来,赛灵思及业内合作伙伴Spline.ai利用Vitis AI,将集成了深度学习处理单元DPU的MPSoC边缘器件和AWS物联网服务结合,针对肺部感染及新冠病毒预测系统开发了可扩展的智能解决方案。

工业视觉领域

在工业视觉领域,赛灵思产品也在智慧工厂、智能工业相机、视觉控制及机器人等方面发挥重要的影响力,AI的作用主要体现在缺陷检测、文字识别、实时分析等机器学习支持的预测性维护控制、远程诊断等嵌入式端上智能化。

嵌入式 AI 场景落地的挑战及解决方案

在嵌入式AI产品落地的过程中,开发者遇到的挑战主要是:

首先,该方案是否灵活可扩展,能够适配不同产品规模或自定义模块?

其次,对于缺乏FPGA开发经验的用户,是否有简单易用的AI开发工具以降低开发难度?

第三,如何突破瓶颈,在算力有限的边缘端实现AI加速性能的最大化?

为了应对这些挑战,赛灵思在2020年初正式推出了Vitis AI解决方案,它是一套面向Xilinx Zynq SoC,Zynq MPSoC,Alveo及Versal ACAP的AI开发平台,它能够为用户带来最强大的机器学习加速性能,这主要通过方案中的神经网络加速引擎DPU、一系列自动化软件工具(定点器、编译器、优化器)和AI运行时及加速库来实现。

与传统的基于硬件RTL语言开发AI加速IP方案的最大不同在于,Vitis AI向用户提供一个通用的且可配置的神经网络加速引擎DPU,在ZU+及Versal平台上用户可以根据实际的逻辑资源选择最佳的DPU配置,最大处理效率超过80%;同时,在最新的Vitis AI方案中,用户可以通过调用Graph Runner API实现在DPU和CPU上对自定义算子的流畅部署,这也保证了开发者可以在不同大小的器件、不同模型之间灵活切换。

其次,Vitis AI可以支持主流的机器学习框架,如Pytorch,Tensorflow和Caffe;在开放模型库AI Model Zoo中涵盖了上百个经过充分优化、验证及硬件部署的模型文件,其中不乏业界最先进的3D目标检测算法、多任务学习算法、超分辨率增强算法,或时下流行的Yolo、Mobilenet、RefineDet、ResNet系列,用户可以免费下载或基于不同场景数据集的重新训练。

此外,针对嵌入式AI的部署环节,赛灵思也做了专门的软件加速优化,除了用自动化的定点器和编译器将模型转化为可部署形式外,用户还可以直接调用相应的软件加速库AI Library,无需额外开发模型的前后处理模块,从而实现在FPGA和ACAP上的快速部署。

最后,为了帮助客户实现边缘端的性能突破,赛灵思在基于Vitis软件开发环境中,集成了大量经过底层优化的加速库,通过C++、OpenCL library的方式提供给用户,所以除了DPU对AI部分的加速以外,我们对端到端的前处理、后处理的全流程都可以加速,这样即可实现边缘端上的最大化性能。审核编辑:郭婷

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 嵌入式
    +关注

    关注

    5082

    文章

    19111

    浏览量

    304845
  • AI
    AI
    +关注

    关注

    87

    文章

    30763

    浏览量

    268905
  • 机器学习
    +关注

    关注

    66

    文章

    8408

    浏览量

    132573
  • 嵌入式AI
    +关注

    关注

    0

    文章

    34

    浏览量

    829
收藏 人收藏

    评论

    相关推荐

    嵌入式超火的方向有哪些?

    目前,随着全球物联网设备的大量使用和ChatGpt等AI大模型的出现,嵌入式系统市场目前呈现出快速发展的趋势,各种嵌入式系统被广泛应用于汽车
    发表于 11-21 15:49

    飞凌嵌入式受邀亮相TI嵌入式威廉希尔官方网站 创新发展研讨会

    10月22日,“2024年德州仪器嵌入式威廉希尔官方网站 创新发展研讨会”(北京站)顺利举行,本次研讨会邀请了众多业界领先的企业和专家到场,飞凌嵌入式作为德州仪器生态伙伴受邀参加,与众多业内伙伴共话嵌入式威廉希尔官方网站 的未来发展
    的头像 发表于 10-23 14:27 383次阅读
    飞凌<b class='flag-5'>嵌入式</b>受邀亮相TI<b class='flag-5'>嵌入式</b>威廉希尔官方网站
创新发展研讨会

    嵌入式主板是什么意思?嵌入式主板全面解析

    嵌入式主板,通常被称为嵌入式系统的核心组件,是一种用于控制和数据处理的计算机硬件,其设计旨在嵌入特定设备中执行专门任务。嵌入式主板如同是设备的“大脑”,
    的头像 发表于 09-30 10:05 451次阅读

    AI嵌入式蜂窝模块将主导物联网市场

    据知名市场调查机构Counterpoint Research最新发布的报告,AI嵌入式蜂窝模块在物联网领域的应用正迎来爆发式增长。该报告预测,到2030年,AI
    的头像 发表于 09-25 15:41 255次阅读

    嵌入式系统的未来趋势有哪些?

    嵌入式系统是指将我们的操作系统和功能软件集成于计算机硬件系统之中,形成一个专用的计算机系统。那么嵌入式系统的未来趋势有哪些呢? 1. 人工智能与机器学习的整合 随着现代人工智能(AI
    发表于 09-12 15:42

    恩智浦加速嵌入式AI创新应用开发

    AI应用飞速发展的今天,如何能够将AI嵌入式系统开发有机结合起来,营造新的开发生态,打造与众不同的创新用例,一直是嵌入式开发者追求的目标。
    的头像 发表于 08-27 09:46 828次阅读

    AI普及给嵌入式设计人员带来新挑战

    探讨了人工智能(AI)的普及给嵌入式设计人员带来的新挑战。在创建“边缘机器学习(ML)”应用时,设计人员必须确保其能有效运行,同时最大限度地降低处理器和存储开销,以及物联网(IoT)设备的功耗
    发表于 08-22 14:20 663次阅读
    <b class='flag-5'>AI</b>普及给<b class='flag-5'>嵌入式</b>设计人员带来新挑战

    嵌入式软件开发与AI整合

    嵌入式软件开发与AI整合是当前威廉希尔官方网站 发展的重要趋势之一。随着人工智能威廉希尔官方网站 的快速发展,嵌入式系统越来越多地集成了AI算法,以实现更复杂的智能功能
    的头像 发表于 07-31 09:25 698次阅读
    <b class='flag-5'>嵌入式</b>软件开发与<b class='flag-5'>AI</b>整合

    EVASH Ultra EEPROM:助力ChatGPT等AI应用的嵌入式存储解决方案

    EVASH Ultra EEPROM:助力ChatGPT等AI应用的嵌入式存储解决方案
    的头像 发表于 06-26 18:13 903次阅读

    embedded world China 2024上海国际嵌入式展 智慧赋能,科技全球!国际嵌入式产业菁英再聚上海

    2024年6月12日——为期三天的第二届embedded world China 上海国际嵌入式展览及会议上海世博展览馆3号馆再次举办!在全球AI盛行的数字化浪潮来袭的今天,尤其是足以改变
    发表于 06-12 11:17 349次阅读

    AI引爆边缘计算变革,塑造嵌入式产业新未来AI引爆边缘计算变革,塑造嵌入式产业新未来——2024研华嵌入式

    中国北京,2024年5月30日 - 2024年研华嵌入式产业合作伙伴会议在北京·中关村皇冠假日酒店成功举办,现场参会嘉宾逾300人。会议以“AI引爆边缘计算变革,塑造嵌入式产业新未来”为主题展开
    发表于 05-31 13:53 306次阅读
    <b class='flag-5'>AI</b>引爆边缘计算变革,塑造<b class='flag-5'>嵌入式</b>产业新未来<b class='flag-5'>AI</b>引爆边缘计算变革,塑造<b class='flag-5'>嵌入式</b>产业新未来——2024研华<b class='flag-5'>嵌入式</b>

    fpga是嵌入式

    FPGA(现场可编程门阵列)不是嵌入式系统,但FPGA在嵌入式系统中有着重要的应用。
    的头像 发表于 03-14 17:19 2285次阅读

    嵌入式人工智能的就业方向有哪些?

    。 国内外科技巨头纷纷争先入局,在微软、谷歌、苹果、脸书等积极布局人工智能的同时,国内的BAT、华为、小米等科技公司也相继切入到嵌入式人工智能的赛道。那么嵌入式AI可就业的方向有哪些呢? 嵌入
    发表于 02-26 10:17

    嵌入式系统发展前景?

    应用领域。随着汽车电子化和智能化程度的不断提高,嵌入式系统将在汽车控制、安全系统、自动驾驶等方面发挥更为重要的作用。 工智能和机器学习威廉希尔官方网站 的发展为嵌入式系统提供了新的发展机遇。嵌入式AI
    发表于 02-22 14:09

    嵌入式自学好书推荐

    科技的发展和市场的扩大,嵌入式系统在未来仍将是一个重要的方向。 嵌入式开发的薪资待遇也较为优厚,工作时间相对前端和Java开发较少,且享有五险一金。对于应届生来说,一般薪资在6-8k;具备1-2年
    发表于 01-11 15:13