0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看威廉希尔官方网站 视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

云天励飞推出全新云端推理加速卡X6000,夯实智算运营底座

爱云资讯 2024-07-24 15:07 次阅读

近期,云天励飞推出IPU-X6000加速卡。该产品具备256T算力、128GB显存容量、486GB/S显存带宽;采用C2C Mesh互联威廉希尔官方网站 ,可实现卡间高速互联,带宽达64GB/s,最大可实现64张卡的互联;可应用于语言、视觉、多模态等各类大模型的推理加速,目前已适配云天天书、通义千问、百川智能、Llama2/3等近10个主流大模型。IPU-X6000加速卡内置全国产工艺打造的大算力芯片DeepEdge200,该芯片采用D2D Chiplet威廉希尔官方网站 ,是基于DeepEdge10芯片平台打造的最新成果。DeepEdge10是云天励飞于2023年底正式发布的全国产14nm Chiplet大模型推理芯片。IPU-X6000单卡可实现130B参数量大模型推理,在执行70B参数量大模型推理时性能达11 tokens/s,有望在大模型推理领域逐步实现国产替代。

wKgZomagqCSAUCAoAABwbD12ozM182.png

今年以来,大模型全面进入应用落地阶段,推理算力需求随之不断增长。根据IDC数据,预计到2026年中国数据中心用于推理的负载将达到62.2%。作为国内领先的人工智能企业,云天励飞不仅持续开展芯片、大模型等关键核心威廉希尔官方网站 的自主研发工作,也一直持续推进大模型等创新威廉希尔官方网站 的应用落地,在推理算力领域进行了完备的部署。

今年云天励飞与德元方惠签署协议,提供总算力规模约4000 PFLOPS的AI训练及推理异构算力服务,预计未来3年将为云天励飞贡献约16亿的营收。云天励飞推出的X6000加速卡,专门针对大模型推理任务设计,打造了一系列符合大模型演进趋势的统一工具链,包括分布式并行策略、基于硬件的流水线排布、先进的量化策略、多机并行的编译机制等,在同等条件下能够做到推理性能更高、消耗成本更低。未来X6000将进一步支撑云天励飞智算运营业务,为行业带来更丰富的算力服务。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 加速卡
    +关注

    关注

    1

    文章

    60

    浏览量

    10943
  • 云天励飞
    +关注

    关注

    0

    文章

    127

    浏览量

    11273
  • 大模型
    +关注

    关注

    2

    文章

    2427

    浏览量

    2647
收藏 人收藏

    评论

    相关推荐

    云天首款AI眼镜正式发布

    近日,云天与闪极科技、LOHO联合打造的AI智能眼镜正式发布。该产品搭载云天自研大模型“
    的头像 发表于 12-20 16:37 167次阅读

    云天携手华为昇腾打造智中心解决方案

    当前,人工智能威廉希尔官方网站 正在加速向各行业深度渗透,成为驱动产业转型和社会进步的重要引擎。构建开放协作的AI生态体系、推动威廉希尔官方网站 和应用深度融合,已成为行业发展的重要趋势。 云天基于昇腾AI基
    的头像 发表于 12-12 16:05 660次阅读

    S7t-VG6 VectorPath加速卡的特性和功能

    S7t-VG6 VectorPath加速卡是Achronix公司联合BittWare公司(Molex旗下的领先企业级FPGA加速器产品供应商)推出的一类全新的、面向高性能计算和数据
    的头像 发表于 11-14 11:19 277次阅读

    云天与闪极科技签署战略合作协议

    近日,云天和闪极科技正式签署战略合作协议。未来,双方将各自发挥优势,围绕AI智能眼镜的研发和市场推广展开深度合作,推动智能眼镜在多场景的应用。
    的头像 发表于 11-13 11:32 362次阅读

    AMD推出新款纤薄尺寸电子交易加速卡

    AMD(超威,纳斯达克股票代码:AMD)今日宣布推出 AMD Alveo UL3422 加速卡 ,这是其创纪录的加速卡系列1的最新成员,专为超低时延电子交易应用而设计。AMD Alveo
    的头像 发表于 10-16 09:14 449次阅读

    清华姚班师生访问云天,展望中国AI发展未来蓝图

    日前,清华大学姚班师生到云天参观交流。云天董事长兼CEO陈宁博士携
    的头像 发表于 08-06 09:28 662次阅读
    清华姚班师生访问<b class='flag-5'>云天</b><b class='flag-5'>励</b><b class='flag-5'>飞</b>,展望中国AI发展未来蓝图

    云天推出IPU-X6000加速卡,针对大模型推理任务设计

    近期,云天推出IPU-X6000加速卡。该产品具备256T
    的头像 发表于 07-24 11:03 622次阅读

    云天加速推动大模型行业落地

    陈宁博士受邀发表主题演讲,首次展示云天边缘AI的战略全貌。   大模型落地的多重挑战 边缘AI提供解法  今年WAIC上,“大模型+行业”的应用落地成为关注热点。 当前,云端大模型
    的头像 发表于 07-08 17:16 609次阅读

    借助全新 AMD Alveo™ V80 计算加速卡释放计算能力

    对于大规模数据处理,最佳性能不仅取决于原始计算能力,还取决于高存储器带宽。 因此,全新 AMD Alveo™ V80 计算加速卡专为具有大型数据集的内存受限型应用而设计,这些应用需要 FPGA 硬件
    发表于 05-16 14:09 216次阅读
    借助<b class='flag-5'>全新</b> AMD Alveo™ V80 计算<b class='flag-5'>加速卡</b>释放计算能力

    云天荣誉入选“2024福布斯中国人工智能科技企业”

    4月28日,“2024福布斯中国人工智能科技企业评选”结果正式发布,云天荣誉入选。同时,云天
    的头像 发表于 04-29 14:17 487次阅读
    <b class='flag-5'>云天</b><b class='flag-5'>励</b><b class='flag-5'>飞</b>荣誉入选“2024福布斯中国人工智能科技企业”

    云天首届渠道大会落下帷幕,多家企业现场签约

    3月28日,云天首届渠道大会落下帷幕。此次大会汇聚了上百家业内企业,共同见证了云天飞在AI领域的创新与突破。
    的头像 发表于 04-03 09:13 477次阅读

    云天与深圳市交通运输局举行战略合作协议签订仪式

    日前,云天与深圳市交通运输局举行战略合作协议签订仪式。交通运输局党组成员、副局长徐炜,云天
    的头像 发表于 04-01 15:13 432次阅读

    云天推出“深目”AI模盒,实现算法在线学习、自我迭代

    3月28日,云天举办AI大模型产品发布会,正式发布“深目”AI模盒。该产品能够做到“3个90%”——覆盖场景超过90%、算法精度超过90%,使用成本降低90%,解决大模型在场景落地最后一公里
    发表于 03-28 21:55 367次阅读
    <b class='flag-5'>云天</b><b class='flag-5'>励</b><b class='flag-5'>飞</b><b class='flag-5'>推出</b>“深目”AI模盒,实现算法在线学习、自我迭代

    云天收购智能穿戴方案设计头部公司岍丞威廉希尔官方网站

    3月22日,云天发布公告,收购智能穿戴方案设计头部公司岍丞威廉希尔官方网站 。
    的头像 发表于 03-25 10:14 398次阅读

    广西领导莅临云天调研

    2月26日,自治区党委书记刘宁、自治区主席蓝天立率广西党政代表团赴深圳市学习调研,并莅临云天调研人工智能威廉希尔官方网站 研发以及创新链和产业链融合等方面情况。 云天
    的头像 发表于 02-27 09:43 666次阅读
    广西领导莅临<b class='flag-5'>云天</b><b class='flag-5'>励</b><b class='flag-5'>飞</b>调研