0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看威廉希尔官方网站 视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

智谱推出四个全新端侧模型 携英特尔按下AI普及加速键

looger123 来源:looger123 作者:looger123 2024-12-02 17:13 次阅读

随着AI的发展,端侧AI模型越来越受到广大客户及厂商的关注,业界领先的大模型公司智谱于近日推出了四个全新的端侧模型,加速AI前沿威廉希尔官方网站 路径与创新应用场景探索,推动AI大模型普惠化发展。

四个模型中,GLM-Edge-4B-chat、GLM-Edge-1.5B-chat为端侧大语言模型,GLM-Edge-V-5B、GLM-Edge-V-2B为端侧多模态模型,这四个模型分别具有4.3B/1.5B/4.8B/2B参数量。两个端侧的大语言模型适合意图理解、智能对话、文本创作、知识库问答等,两个端侧的多模态模型适用于视觉理解、创意描述、本地搜索、图片问答等。这四个模型即将在Github、Huggingface、模搭等多个开源社区上发布。

为了确保这些新模型能够在实际应用中发挥卓越性能,英特尔与智谱紧密合作,利用最新的英特尔酷睿Ultra处理器(第二代)硬件平台和OpenVINOTMAI推理加速软件对模型的性能进行优化。通过与英特尔的紧密合作,智谱的新模型在计算效率、推理速度和能效比等方面得到了显著提升。

英特尔酷睿Ultra处理器集成了专门的AI加速器,显著提升AI和机器学习任务的处理能力。OpenVINOTM是由英特尔发起的AI推理优化部署软件框架,旨在优化和加速深度学习模型在各种英特尔硬件上的推理性能,提供高效的模型优化和跨平台部署能力,使得开发者能够在CPUGPU、NPU 等多种硬件上实现卓越的AI推理性能。

在强大的硬件基础上,OpenVINO采用多种优化策略对智谱模型进行优化。INT4低精度模型量化;基于kvcache的stateful模型优化;基于模型图融合优化,包括SDPA GQA,RoPE fusion等等。

通过这些优化,英特尔在基于酷睿Ultra第二代处理器的AIPC上做到了对相关模型的Day 0(第零日)支持并取得了很好的性能(如下图):

wKgZPGdNekqAGlFgAADawgzfCAM457.png

在AI PC领域,英特尔正在引领市场前行。英特尔目前已出货了超过2,000万台AIPC设备,构建了拥有超过100家ISV、300多项AI应用、500多个AI模型的庞大生态系统。

产品层面,英特尔也在与OEM厂商密切合作,推出以酷睿Ultra处理器为核心的AIPC。酷睿Ultra同时实现了出色的性能和续航能力,基于强大的x86架构,通过CPU、GPU算力,酷睿Ultra能够充分发挥AI威廉希尔官方网站 的优势。

未来英特尔会与智谱进一步加强在端侧模型上的合作,并利用酷睿Ultra处理器上不断提升的AI能力,充分赋能更多AIPC上的应用,让用户在基于英特尔酷睿Ultra的AIPC上有更好的体验。

审核编辑 黄宇

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 英特尔
    +关注

    关注

    61

    文章

    9953

    浏览量

    171700
  • AI
    AI
    +关注

    关注

    87

    文章

    30763

    浏览量

    268906
收藏 人收藏

    评论

    相关推荐

    发布智清言英特尔酷睿Ultra专享版

    近日,国内顶尖的大模型厂商智谱在官方网站智清言上,正式推出了智清言英特尔酷睿Ultra专享版。这一版本充分利用了
    的头像 发表于 12-19 11:37 232次阅读

    清言英特尔酷睿Ultra专享版发布,离线模型玩转AIPC

    近日,国内领先的大模型厂商智谱在智清言的官网发布了智清言英特尔酷睿Ultra专享版,这个版本可以利用英特尔酷睿Ultra处理器提供的澎湃
    的头像 发表于 12-18 11:52 181次阅读

    使用英特尔AI PC为YOLO模型训练加速

    之后,情况有了新的变化,PyTorch2.5正式开始支持英特尔显卡,也就是说,此后我们能够借助英特尔 锐炫 显卡来进行模型训练了。
    的头像 发表于 12-09 16:14 251次阅读
    使用<b class='flag-5'>英特尔</b><b class='flag-5'>AI</b> PC为YOLO<b class='flag-5'>模型</b>训练<b class='flag-5'>加速</b>

    英特尔推出全新英特尔锐炫B系列显卡

    备受玩家青睐的价格提供卓越的性能与价值1,很好地满足现代游戏需求,并为AI工作负载提供加速。其配备的英特尔Xe矩阵计算引擎(XMX),为新推出的XeSS 2提供强大支持。XeSS 2的
    的头像 发表于 12-07 10:16 680次阅读
    <b class='flag-5'>英特尔</b><b class='flag-5'>推出</b><b class='flag-5'>全新</b><b class='flag-5'>英特尔</b>锐炫B系列显卡

    英特尔发布全新企业AI一体化方案

    近日,英特尔正式推出全新的企业AI一体化方案。该方案以英特尔至强处理器和英特尔Gaudi 2D
    的头像 发表于 12-03 11:20 213次阅读

    英特尔发布全新企业AI一体化解决方案

    近日,英特尔正式推出了其全新的企业AI一体化解决方案,这一方案旨在为企业提供更加开放、可扩展且高效的
    的头像 发表于 12-02 10:48 483次阅读

    英特尔聚焦AI座舱

    英特尔推出首款锐炫车载独立显卡(dGPU)和第一代英特尔软件定义车载SoC系列,满足当前消费者对汽车内部配备更多屏幕、获得更高清晰度等AI座舱体验需求。
    的头像 发表于 10-30 16:26 199次阅读

    Inflection AI携手英特尔推出企业级AI系统

    近日,AI初创企业Inflection AI英特尔联合宣布了一项重大合作——推出基于英特尔Gaudi 3
    的头像 发表于 10-09 16:40 434次阅读

    英特尔助力京东云用CPU加速AI推理,以大模型构建数智化供应链

    英特尔助力京东云用CPU加速AI推理,以大模型构建数智化供应链
    的头像 发表于 05-27 11:50 531次阅读
    <b class='flag-5'>英特尔</b>助力京东云用CPU<b class='flag-5'>加速</b><b class='flag-5'>AI</b>推理,以大<b class='flag-5'>模型</b>构建数智化供应链

    已有超过500款AI模型英特尔酷睿Ultra处理器上得以优化运行

    近日,英特尔宣布在全新英特尔 酷睿 Ultra处理器上,有超过500款AI模型得以优化运行。
    的头像 发表于 05-11 09:31 713次阅读

    英特尔酷睿Ultra处理器突破500AI模型优化

    英特尔在最新推出英特尔® 酷睿™ Ultra处理器上宣布,超过500款AI模型已得到优化运行。这款处理器无疑是市场上领先的
    的头像 发表于 05-09 11:18 761次阅读

    英特尔升级AI PC加速计划

    近日,英特尔公司正式推出AI PC加速计划”,旨在通过两大新举措进一步推动人工智能威廉希尔官方网站 在个人电脑领域的应用与发展。
    的头像 发表于 03-28 11:46 673次阅读

    浪潮信息&quot;源2.0&quot;大模型YuanChat支持英特尔最新商用AI PC

    % 。企业可以在全新英特尔商用客户AI PC上,使用AI PC大模型效率工具"YuanCha
    的头像 发表于 03-27 22:52 499次阅读
    浪潮信息&quot;源2.0&quot;大<b class='flag-5'>模型</b>YuanChat支持<b class='flag-5'>英特尔</b>最新商用<b class='flag-5'>AI</b> PC

    英特尔酷睿Ultra通过全新英特尔vPro平台将AI PC惠及企业

    近日,英特尔在2024年世界移动通信大会(MWC 2024)上宣布,全新英特尔®vPro®平台将AI PC的优势惠及商用客户。
    的头像 发表于 03-18 15:07 511次阅读

    英特尔推出全新vPro平台,将AI PC的优势延伸至商用领域

    在2024年世界移动通信大会(MWC 2024)上,英特尔宣布了其全新英特尔®vPro®平台的发布,旨在将AI PC的先进功能带给商用客户。这一平台结合了内置
    的头像 发表于 03-03 15:47 1163次阅读