电子发烧友网报道(文/周凯扬)经过这几年的发展,越来越多的AI计算芯片初创公司感受到了剧增的压力,入场的玩家越来越多,而头部的大厂在市占率上压得他们喘不过气。尽管如此,还是有的厂商找到了另外的路线来吸引更多的投资,比如存内计算。
d-Matrix
近日,AI芯片初创公司d-Matrix宣布收获了1.1亿美元的B轮融资,由新加坡投资公司淡马锡控股公司领头,剩余的投资者包括微软、三星等。其实早在该公司去年4月份的A轮融资中,微软就已经领投这家初创企业,一样参与投资的还有SK海力士。可以看出,无论是微软,还是内存厂商,都很看好其前景。
d-Matrix的威廉希尔官方网站
路线是通过存内计算来实现AI瓶颈的突破,比如在过去的标准SRAM结构中,内存墙的问题是始终存在的,而d-Matrix的数字化存内计算则可以进一步提升单位功耗的算力,从过去的10Tops/W提升至最高230Tops/W。
d-Matrix率先推出的是Nighthawk这一验证Chiplet产品,基于台积电的6nm工艺打造,集成了4个基础神经网络加速器作为AI引擎,以及一个SiFive S76 CPU作为控制单元。每个神经网络加速器中包含了两个自研Apollo核心,每个核心中又包括8个数字存内计算单元。
不过Nighthawk仅仅是用于展示使用,并不会量产,随后d-Matrix又推出了Jayhawk这一chiplet加入其展示平台,加入了基于ODSA标准的D2D接口。而d-Matrix将要为客户正式提供的产品是今年推出的Corsair chiplet,该设备将集成512个dMIC,是Nighthawk的8倍,这才将性能推至200Tops/W以上。
针对Corsair的架构,d-Matrix还推出了Aviator这一软件平台,进一步无缝化终端用户的模型部署体验。据了解,微软已经在评估该芯片,并计算在明年投入使用。而d-Matrix预计营收将达到1000万美元,主要来自客户用于评估的订单。由于这类存内计算更适合AI计算中的推理,对于生成式AI来说可以提高吞吐量、降低延迟,同时相对GPU方案也拥有更低的TCO成本。
EnCharge AI
另外一家从事存内计算AI芯片开发,并获得了资本青睐的初创公司名为EnCharge AI。去年年底,该公司退出隐身模式,并获得了来自Anzu Partnets、AlleyCorp等公司的2170万美元A轮融资。其CEO Naveen Verma表示这笔资金将用于推进硬件和软件的开发,以及支持与新客户之间的沟通。
相较于d-Matrix,EnCharge AI的大部分研究成果还在理论阶段,并没有量产,这也是他们继续融资推进产品落地的原因。EnCharge AI表示自己的软件栈与标准的设计框架(PyTorch、TensorFlow、ONNX)兼容,并支持针对应用的运算、模型和分辨率自定义。其软件栈保证了高精度、高性能的AI模型部署不再是一个冗长的过程,而是一个流畅自动化的过程。
在硬件上,EnCharge AI还是保证了其设计与标准CMOS工艺兼容,最小化成本的同时依然可以提供最大化的性能表现。据其官网介绍,EnCharge AI在打造的存内计算AI芯片可以达到150TOPS/W的计算效率。
虽然EnCharge AI的硬件平台也强调了可扩展性,但从其描述来看,似乎更愿意将其应用于边缘端,比如针对摄像头的Resnet50图像分类识别等。不过可以肯定的是,EnCharge AI目前还处于未量产无客户的阶段,在市场上还会与其他资金雄厚、产品进度更快的竞争对手交锋。
写在最后
即便是钻研存内计算AI芯片的厂商,还是需要走软硬件栈的同步开发,因为对于AI模型,尤其是一些LLM来说,兼容性还只是重心之一。要想推进AI计算的效率,就必须做好硬件和软件的扩展性,这也是多数AI芯片初创公司面临的最大难题,甚至因为软硬件协调问题迟迟没能大规模商用。
-
AI
+关注
关注
87文章
30751浏览量
268901
发布评论请先 登录
相关推荐
评论