Kinara公司发布首款Ara-2边缘AI处理器,该产品可为边缘服务器及个人电脑提供性能优越、性价比高且节能的推理支持,适用范围广泛,如视频分析、大规模语言模型(LLM)和其他各类AI模型。
针对AI模型发展趋势所适用的Transformer架构模型,Ara-2同样表现出色。配备有多种新颖特性,性能稳定且高达初代Ara-1处理器的5至8倍以上,兼具高速应答和高吞吐量特质。其独特的片上存储器设计以及极高的片外带宽可大大降低性能延迟。
虽然生成式AI应用日趋盛行,但大部分应用仍依赖GPU在数据中心运行,存在着延迟高、成本大、隐私泄漏等诸多风险。为了解决此类问题,Ara-2处理器支持生成式AI模型所需要的大量参数,有效减少了向边缘迁移的难度。同时,Ara-2的计算引擎和相应的软件开发包(SDK)特别设计支持高精度量化、可动态调整的主机运行时以及对FP32的直接支持,不仅可无缝指导用户从昂贵的GPU转移到各种AI模型,也保证了计算效能的最大化利用。
“随着Ara-2处理器的推出,我们能够更为全面地满足不同用户对性能与成本的需求。之前,适用于智能相机或拥有2至8路视频流的边缘AI设备的Ara-1就已深受好评;如今,升级版的Ara-2则更适应于处理承担16至32路甚至更多视频流输入的边缘服务器或是笔记本电脑,同样对于高端相机也能轻松应对。”Kinara首席执行官Ravi Annavajjhala表示。他进一步补充,“凭借其卓越的计算引擎,Ara-2能够快速处理高分辨率图像,准确度大幅提升,进而实现更理想的对象检测、识别和跟踪效果。此外,以场景式AI为例,Ara-2在运行Stable Diffusion时仅需10秒即可生产一幅图像,而在处理LLaMA-7B模型时,其速度最快可达每秒生产数十个token。”
今年10月份,Ampere宣布接纳Kinara加入其人工智能平台联盟。此举旨在降低系统复杂程度,推动人工智能领域的协同合作与创新,以提供总体性能超越GPU、具有更高功耗和成本效益的全新范式。Ampere的首席布道师Sean Varley对此表示赞赏,认为“Kinara的Ara-2性能强大,功能丰富,这无疑是朝着实现比现阶段基于GPU的AI解决方案更为优秀的道路上迈进了坚实的一步。”
除此之外,Ara-2边缘AI处理器还兼容安全启动、加密内存访问和安全主机接口等多项安全威廉希尔官方网站 ,为企业AI部署提供最强防护措施。Kinara还提供全方位的SDK支持,包括模型编译工具、计算单元调度程序、灵活的量化选项以及对PyTorch和TFLite预量化模型的可靠支持、可进行多芯片负载均衡的系统以及动态调整的主机。
目前,Ara-2已可采取多种形态呈现,包括独立设备、USB模块、M.2模块以及具有多颗Ara-2处理器的PCIe卡等。据了解,Kinara将在即将到来的CES展会上为大家呈献Ara-2的精彩现场演示。
-
处理器
+关注
关注
68文章
19273浏览量
229720 -
数据中心
+关注
关注
16文章
4769浏览量
72106 -
生成式AI
+关注
关注
0文章
502浏览量
471
发布评论请先 登录
相关推荐
评论