“从无处不在到无人不用”，大模型推动边缘计算变革的机遇与挑战

《从云到端 AI触手可及》2024年芯原AI专题威廉希尔官方网站 研讨会上，芯原执行副总裁、IP事业部总经理戴伟进作了“大模型推动边缘计算变革的机遇与挑战”的主题演讲，他介绍了目前大模型在边缘计算的变革的同时，也向行业介绍了芯原AI相关的威廉希尔官方网站 演讲和IP产品系列。

图：芯原执行副总裁、IP事业部总经理戴伟进在威廉希尔官方网站 研讨会上作演讲介绍大模型的威廉希尔官方网站 发展趋势

戴伟进首先在发言中表示，AI已经从部署到每个地方，演进到布置到每个人，大模型应该进入到了边缘设备中。以语言为基础的多模态大模型（Multimodal)

2024年初OpenAI正式上线，全球各种GPT迅速跟进。2024年科技企业将大型人工智能模型要引入到嵌入式系统中落地，AI手机、AI PC和汽车的大模型边缘终的落地，并引发了广泛的关注。可惜目前在国内的AI大模型在边缘终端的落地还受政策影响中。


2024年初OpenAI正式上线，全球各种GPT迅速跟进。2024年科技企业将大型人工智能模型要引入到嵌入式系统中落地，AI手机、AI PC和汽车的大模型边缘终的落地，并引发了广泛的关注。可惜目前在国内的AI大模型在边缘终端的落地还受政策影响中。

戴伟进表示，GPT多模态的能已经能够处理图像和文本的输入，他预测在下一代的GPT-5中将加入视频处理模块。据最新的谷歌发布的大模型AI手机 Project Astra项目的演示中，基于Gemini大模型，视频处理模块的AI威廉希尔官方网站 已经实现。2024年2月16日 ，OpenAI发布了首个视频生成模型Sora，支持60秒一镜到底的视频，包含高细致背景、多角度镜头以及富有情感的多个角色，所合成的视频内容与物理世界规律保持一致。谷歌则随即发布对标Sora的高质量视频生成模型Veo。


微软不久前的Copilot+PC的最新威廉希尔官方网站 亮点则是把AI PC的产品新威廉希尔官方网站 推到了新的高潮。三星Galaxy S24系列手机内置即圈即搜、通话实时翻译、笔记助手、智能修图和智能写作五大AI功能，国内一些品牌也随即宣布跟进。AI PC和AI手机成为今年行业最热产品词条。


可以说，AI PC的时代全面到来。受威廉希尔官方网站 封锁的影响，国内的威廉希尔官方网站 厂商急切需要有AI IP相关的威廉希尔官方网站 厂商抱团共同跟进。

不过国内AI威廉希尔官方网站 发展的挑战并不如我们想像中那么困难。戴伟进透露，芯原在AI IP早些年就已经布局，公司的NPU IP全球出货量超过1亿颗。GPU在全球累计出货量过去20年累计近20亿颗。

芯原的5纳米媒体加速器视频，即视频处理器AI Video在全球范围内处于领先地位。


且已经在边缘设计上运行大模型。包括在嵌入式设备、边缘服务器和数据中心，都有产品开始被客户采用。

从上图可以看到芯原的在嵌入式设备的相关NPU和GPU的IP产品。

芯原的AI计算软件与各种软件工具等平台的适配。

芯原在AGI领域，其NPU的性能处于全球领先的地位，LLaMA 7B能达到20 Tokens/s。

戴伟进最近也展示了Open Se Cura项目。该项目跟谷歌协作开发，可以在可穿戴低功耗的终端、AI手机以及云云计算大模型上部署。