0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看威廉希尔官方网站 视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

英伟达A800芯片也要被禁售了?中国AI大模型还能怎么玩?国产GPU能否挑大梁

Carol Li 来源:电子发烧友网 作者:李弯弯 2023-06-29 09:09 次阅读

电子发烧友网报道(文/李弯弯)近日消息,美国考虑进一步限制向中国出口AI芯片,商务部最早可能在下个月初采取行动。在没有获得许可证的情况下,美商务部将禁止英伟达等制造商向中国客户运送AI芯片。英伟达专供中国的A800芯片,在无许可证的情况下也将被禁售。

A800是英伟达专为中国客户推出的产品,用以解决美国商务部的半导体出口新规,取代A100 GPU,该产品在2022年第三季度起投产。近段时间,大模型迅猛发展,国内在新规之前采购的可流通A100并不多,目前各互联网厂商争相采购的主要是A800。

A800被禁售,国内AI大模型训练受阻?

在AI大模型的训练上,现在基本上是用英伟达的A100、H100以及特供中国的减配版 A800、H800。2020年和2022年,英伟达先后推出了A100芯片、H100芯片,其中A100显卡又提供80GB、40GB两个显存版本,H100则提供80GB显存。

A100拥有540亿晶体管,采用台积电7nm工艺制程,支持FP16、FP32和FP64浮点运算,为人工智能、数据分析和HPC数据中心等提供算力。

H100集成800亿晶体管,采用台积电定制的4nm工艺,相比于A100,H100在FP16、FP32和FP64计算上比A100快三倍,非常适用于当下流行且训练难度高的大模型。

2022年9月,美国商务部对GPU 的出口规定,主要限制是显卡的算力和带宽,算力上线是4800 TOPS,带宽上线是600 GB/s。A800的带宽为400GB/s,低于A100的600GB/s,H800的参数并未公布,据知情人士透露只有H100(900 GB/s)到约一半。

这意味着A800、H800在进行AI模型训练的时候,需要耗费更长的时间,不过这相比于其他的同类产品,性能仍然是高的。

最近大半年时间,随着ChatGPT的出圈,国内外各大互联网公司、AI企业都在大力研发自己的AI大模型产品,而这也造成了对GPU的极大需求。各大互联网厂商都在大力采购英伟达的GPU芯片,包括百度、阿里、腾讯、字节跳动等等。

在国内,还可流通的A100并不多,据一家服务器定制企业的销售经理描述,需求太过火爆,甚至有人从机房里把芯片禁运政策生效前购买的A100 80GB拆出来倒卖。

如今,国内市场还是主要倚赖在政策允许范围内的A800芯片。不过大模型火爆之后,因为需求太大,A800也出现供货周期拉长、价格上涨的情况,据业内人士透露,之前两周时间就能到货,现在乐观的情况也要4-6周的时间,甚至更长。

如今,根据美国商务部的意思,A800在无许可证的情况下将被禁售,这意味着,后续国内企业在大模型的研究中,不仅仅是买到A800需要更长时间的问题,而是很可能买不到的问题。而且不仅仅是A800,其他AI芯片向中国的销售也可能受阻,包括原本也可以用于一些模型训练,性能较差一些的V100等。这意味着,国内企业AI大模型后续的训练将受阻。

国产GPU能否挑大梁?

如此看来,国内AI后续的发展,它对算力的需求似乎就只能指望国产GPU了。目前国产GPU的情况如何呢?

大模型训练需要处理高颗粒度的信息,对云端训练芯片的芯片处理信息的精细度和算力速度要求更高,现阶段国产GPU大多数不具备支撑大模型训练所需的能力。

不同于多媒体和图形处理的单精度浮点计算(FP32)计算需求,在超算领域,双精度浮点计算能力FP64是进行高算力计算的硬性指标。

目前国内GPU芯片的云端训练公司,大多只能处理单精度浮点计算,如壁仞科技(通用GPU芯片BR100)、天数智芯(“智铠100”)、寒武纪(云端推理思元270)的产品在FP32的理论指标上做得不错,但没有处理FP64的能力。

所以说,从短期来看,国产的GPU产品还难以支撑起AI大模型的训练,这意味着英伟达A800芯片被禁售,国内AI大模型接下来的研究将难以为继。

那是不是说,无论是国内的AI大模型企业,还是国产的GPU企业,真的就束手无策了?也并不是。据业内人士介绍,对于算力的需求主要与模型参数有关,大厂现在所做的通用大模型依然只能使用英伟达的产品。但是,垂类行业的大模型(金融、医疗等)或者参数量不像GPT那样大的模型,一些国产GPU也能够做到。

比如,国内某短视频平台参数量约为1000亿的大模型,就用了寒武纪的产品,做训练和推理。当然该模型训练使用了英伟达的A100。

此外,今年6月10日,天数智芯对外宣布,在天垓100加速卡的算力集群,基于北京智源人工智能研究院70亿参数的Aquila语言基础模型,使用代码数据进行继续训练,稳定运行19天,模型收敛效果符合预期,证明天数智芯有支持百亿级参数大模型训练的能力。

摩尔学院院长李丰此前对媒体表示,公司已经可以支持3亿参数量模型的训练。

首都在线表示,公司与燧原科技联合开发的AIGC模型方案已发布内测,产品可以从容应对前期投入大、算力要求高、算法模型快速迭代创新的需求,并广泛支持文本、语音、视觉等各威廉希尔官方网站 方向的模型训练。

可见,目前国产GPU虽然在参数量较大的模型训练上存在不足,但是确实已经能够在一些中小参数模型的训练上有所作为。

登临科技联合创始人王平此前对媒体表示,相比于国际领先的GPU产品,国产GPU确实在满足大模型训练上存在差距,因为此前行业在产品定义上未朝大模型方向做设计。

而现在国产GPU公司都在朝着大模型方向去布局,相信未来终能够找到方向,进行突破。而且如今A800在无许可证的情况下如果禁售,这对于国产GPU的发展将会有强大的刺激作用,因为如果不突破,意味着国内未来AI大模型的发展将无计可施,这似乎成了唯一的出路。

目前业界正在做相关的探索,比如,思考能否通过Chiplet、先进封装的方式提高算力。研究如何提升芯片与芯片间的数据传输速度等。昆仑芯就表示,相较于第一代产品,昆仑芯2在算力、互联上都有大幅优化,公司正在不断研发新的产品和威廉希尔官方网站 ,以满足ChatGPT等大模型的应用需求。

小结

很显然,在A100、H100之后,若A800在无许可证下被禁售,意味着国内AI大模型后续的训练将无GPU可用。目前而言国产GPU几乎还不能用于较大规模参数模型的训练。不过可以看到,一些产品在较小规模,比如几亿、甚至百亿级别参数规模的模型训练上,已经可以有所作为。而且目前众厂商都在朝着大模型应用方向进行探索,从长远来看,必然会逐步取得进展。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • AI
    AI
    +关注

    关注

    87

    文章

    30753

    浏览量

    268901
  • 英伟达
    +关注

    关注

    22

    文章

    3771

    浏览量

    90991
  • A800
    +关注

    关注

    0

    文章

    14

    浏览量

    257
收藏 人收藏

    评论

    相关推荐

    AI模型不再依赖英伟GPU?苹果揭秘自研大模型

      电子发烧友网报道(文/梁浩斌)过去几年中爆发的AI算力需求,英伟GPU成为了最大的赢家,无论是自动驾驶还是AI
    的头像 发表于 08-05 06:07 3982次阅读
    <b class='flag-5'>AI</b>大<b class='flag-5'>模型</b>不再依赖<b class='flag-5'>英伟</b><b class='flag-5'>达</b><b class='flag-5'>GPU</b>?苹果揭秘自研大<b class='flag-5'>模型</b>

    挑战英伟:聚焦本土GPU领军企业崛起

    在全球图形处理单元(GPU)市场的霸主地位,特别是其关键硬件对训练大型AI模型(如ChatGPT背后的OpenAI模型)的不可或缺性,
    的头像 发表于 09-18 15:24 707次阅读

    英伟Blackwell可支持10万亿参数模型AI训练,实时大语言模型推理

    电子发烧友网报道(文/李弯弯)在近日的Hot Chips 2024大会上,英伟公布下一代GPU架构Blackwell的更多细节信息,以及未来的产品路线图
    的头像 发表于 09-04 09:10 2892次阅读

    苹果AI模型训练新动向:携手谷歌,未选英伟

    近日,苹果公司发布的最新研究报告揭示其在人工智能领域的又一重要战略选择——采用谷歌设计的芯片来训练其AI模型,而非行业巨头英伟
    的头像 发表于 08-01 18:11 918次阅读

    英伟首席执行官黄仁勋:AI模型推动英伟AI芯片需求

    近来,以ChatGPT为代表的AI聊天机器人已经导致英伟AI芯片供应紧张。然而,随着能够创造视频并进行近似人类交流的新型
    的头像 发表于 05-24 10:04 490次阅读

    进一步解读英伟 Blackwell 架构、NVlink及GB200 超级芯片

    2024年3月19日,[英伟]CEO[黄仁勋]在GTC大会上公布新一代AI芯片架构BLACKWELL,并推出基于该架构的超级
    发表于 05-13 17:16

    国内GPU新势力:能否成为英伟的“终结者”?

    ,随着中国国内科技企业的快速发展和威廉希尔官方网站 创新,一个问题自然而然地浮现出来:中国国内的GPUAI卡供应商是否有望追赶上英伟
    的头像 发表于 04-24 11:07 453次阅读
    国内<b class='flag-5'>GPU</b>新势力:<b class='flag-5'>能否</b>成为<b class='flag-5'>英伟</b><b class='flag-5'>达</b>的“终结者”?

    算力市场掀起价格风暴 英伟A800租赁价跳水

    在这场价格风暴中,英伟A800的租赁价格跳水至仅需2元/时,无疑成为了市场的焦点。
    的头像 发表于 04-03 16:43 2448次阅读

    美方持续收紧AI芯片对华出口限制,英伟等巨头面临挑战

    为了挽回中国市场,英伟不得不做出妥协,推出了符合美方限制政策的A100和A800芯片
    的头像 发表于 04-02 16:28 1186次阅读

    国产GPUAI模型领域的应用案例一览

    电子发烧友网报道(文/李弯弯)近一年多时间,随着大模型的发展,GPUAI领域的重要性再次凸显。虽然相比英伟等国际大厂,
    的头像 发表于 04-01 09:28 3787次阅读
    <b class='flag-5'>国产</b><b class='flag-5'>GPU</b>在<b class='flag-5'>AI</b>大<b class='flag-5'>模型</b>领域的应用案例一览

    盘点国产GPU在支持大模型应用方面的进展

    电子发烧友网报道(文/李弯弯)目前谈到GPU,大家首先想到的应该就是英伟。近一年多时间来,随着大模型的发展,
    的头像 发表于 03-29 00:27 6694次阅读
    盘点<b class='flag-5'>国产</b><b class='flag-5'>GPU</b>在支持大<b class='flag-5'>模型</b>应用方面的进展

    英伟发布新一代AI芯片架构Blackwell GPU

    近日,英伟首席执行官黄仁勋在GTC 2024会议上发表主题演讲,重磅推出全新AI芯片架构Blackwell GPU。这一创新威廉希尔官方网站 的首款
    的头像 发表于 03-26 11:19 870次阅读

    英伟再为中国市场特供两款新型AI芯片样品

    在全球科技舞台上,英伟一直以其领先的AI芯片威廉希尔官方网站 备受瞩目。然而,在美国政府的出口限制之下,英伟
    的头像 发表于 02-25 11:21 921次阅读

    消息称英伟中国特定AI芯片H20开启预售

    据报道,英伟最近推出了专为中国市场设计的AI芯片H20系列,并已经开始接受经销商的预购。定价方面,H20系列与
    的头像 发表于 02-04 14:31 1214次阅读

    英伟和华为/海思主流GPU型号性能参考

    一句话总结,H100 vs. A100:3 倍性能,2 倍价格 值得注意的是,HCCS vs. NVLINK的GPU 间带宽。 对于 8 卡 A800 和 910B 模块而言,910B HCCS 的总带宽为392GB/s
    发表于 12-29 11:43 5977次阅读
    <b class='flag-5'>英伟</b><b class='flag-5'>达</b>和华为/海思主流<b class='flag-5'>GPU</b>型号性能参考