0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看威廉希尔官方网站 视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

NVIDIA助力腾讯助力“开悟”AI开放研究平台

星星科技指导员 来源:NVIDIA 作者:NVIDIA 2022-04-21 10:47 次阅读

案例简介

• 本案例中通过NVIDIA V100 GPUTensorRT,腾讯“开悟”AI开放研究平台将强化学习模型训练中的自对弈推理部分,从CPU迁移到GPU上,实现了10倍的加速,并使推理成本下降90%,整体训练成本下降 67%。

• 本案例主要应用到 NVIDIA V100 GPU 和 TensorRT。

客户简介及应用背景

腾讯一直积极地推动强化学习在游戏AI领域的发展,并在2019年推出了“开悟”AI开放研究平台,提供不同游戏的训练场景、支撑AI进行强化训练的大规模算力、统一的强化学习框架以加速研发速度、通用的训练与推理服务,加快AI训练速度。

客户挑战

和图像以及语音的训练方式不同,目前在游戏AI训练上表现最好的方式是强化学习。强化学习除了需要大量的算力来训练深度学习网络之外,还需要一个自对弈的模块用来产生训练数据。在自对弈模块当中,会interwetten与威廉的赔率体系 游戏环境,并且选择不同时期的模型来操控游戏内的角色,AI对游戏内角色的每一操控都需要对模型进行一次前向推理。由于更新模型的训练数据来自于自对弈模块,因此自对弈的推理速度会对整个模型的训练速度和效果造成非常大的影响。

而自对弈推理每一次前向推理对延时的要求比实际的线上服务小,因此常见的方式是通过CPU来进行自对弈中的推理,但CPU成本太高。为了提高自对弈的速度与吞吐,减少推理成本,腾讯希望在“开悟”AI开放研究平台里面充分利用GPU去进行自对弈中的模型前向推理。

应用方案

为了解决上述在自对弈推理当中GPU利用率不高的问题, 腾讯“开悟”AI开放研究平台选择使用NVIDIA V100 GPU和NVIDIA TensorRT推理引擎来加速推理。

为了自动化地将模型从TensorFlow转换到TensorRT, 腾讯“开悟”AI开放研究平台一开始通过自行开发parser,将TensorFlow的算子映射到TensorRT的算子。同时,为了支持更广泛的模型与算子,减少维护和开发的成本, 腾讯“开悟”AI开放研究平台也积极地与NVIDIA合作,推动从TensorFlow转换成ONNX模型,再通过TensorRT ONNX parser转换到TensorRT的流程。

在自对弈的过程中,需要频繁地更新模型的权重,让自对弈模型始终能保持在较新的状态。这个更新的频率大概几分钟一次,每次必须限制在几百个毫秒。如果通过重新build engine 的方式来更新模型的话,无法满足上述要求。因此 腾讯“开悟”AI开放研究平台采用 TensorRT refit engine的功能来更新权重。同时,为了对更新权重有更好的支持、以及支持更多的算子, 腾讯“开悟”AI开放研究平台从原本的TensorRT 5 升级到TensorRT 7。

TensorRT 7虽然在部分算子上支持权重更新,但并不支持LSTM这个在游戏AI当中很重要的算子。为了解决这个问题, 腾讯“开悟”AI开放研究平台通过开发TensorRT插件的方式封装LSTM算子,并在插件当中更新权重。

为了充分利用NVIDIA V100 GPU的Tensor core, 腾讯“开悟”AI开放研究平台希望能够使用TensorRT FP16精度来加速推理。由于TensorRT对FP16的支持非常成熟和简便,整个推理流程很快被切换到FP16,并取得了2倍左右的加速。

寻找模型推理时的性能瓶颈,通过开发TensorRT插件进行算子融合,进一步地提升推理的速度。

在完成以上的工作之后,对比TensorFlow的基础版本,TensorRT 7 能提供5倍以上的加速效果。

使用效果及影响

通过NVIDIA V100 GPU以及TensorRT推理引擎加速自对弈训练的推理部分,腾讯“开悟”AI开放研究平台极大地提升了自对弈推理的吞吐量与速度,进一步地提升了整个模型训练的速度与降低训练成本,加快模型迭代的周期。

审核编辑:郭婷

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • NVIDIA
    +关注

    关注

    14

    文章

    4985

    浏览量

    103026
  • gpu
    gpu
    +关注

    关注

    28

    文章

    4735

    浏览量

    128919
  • AI
    AI
    +关注

    关注

    87

    文章

    30830

    浏览量

    268993
收藏 人收藏

    评论

    相关推荐

    腾讯AI助力FAST发现51颗脉冲星

    近日,腾讯云在天文探索领域取得了显著成果。截至目前,腾讯云凭借强大的AI威廉希尔官方网站 ,已经成功助力中国天眼FAST(五百米口径球面射电望远镜)发现了51颗脉冲星。这一成果不仅展示了
    的头像 发表于 12-02 10:27 165次阅读

    NVIDIA助力企业创建定制AI应用

    NVIDIA 近日宣布与众多威廉希尔官方网站 领导者一同使用最新NVIDIA NIM Agent Blueprint以及NVIDIA NeMo和NVIDIA NIM微服务,帮助企业创建定制
    的头像 发表于 11-20 09:12 341次阅读

    NVIDIA AI助力初创企业为心理治疗师提供AI工具

    NVIDIA AI 助力初创企业为心理治疗师提供 AI 工具,以此来优化和提升心理健康服务水平,为人们的心理健康保驾护航。
    的头像 发表于 11-19 16:03 214次阅读

    NVIDIA AI助力实现更好的癌症检测

    由美国顶级医疗中心和研究机构的专家组成了一个专家委员会,该委员会正在使用 NVIDIA 支持的联邦学习来评估联邦学习和 AI 辅助注释对训练 AI 肿瘤分割模型的影响。
    的头像 发表于 11-19 15:54 175次阅读

    NVIDIA开放计算项目捐赠Blackwell平台设计

    近日,在美国加利福尼亚州举行的 OCP 全球峰会上,NVIDIA 宣布已把 NVIDIA Blackwell 加速计算平台的一些基础元素捐赠给开放计算项目(OCP),并扩大
    的头像 发表于 11-19 15:30 193次阅读

    赖耶科技通过NVIDIA AI Enterprise平台打造超级AI工厂

    NVIDIA 威廉希尔官方网站 团队保持合作。赖耶科技通过NVIDIA AI Enterprise平台打造的超级 AI 工厂,致力于加速大模型场景应用
    的头像 发表于 11-19 14:55 377次阅读

    NVIDIA助力Amdocs打造生成式AI智能体

    Amdocs 是一家为通信和媒体提供商提供软件与服务的领先供应商。该公司构建的 amAIz 特定领域生成式 AI 平台帮助电信公司深入改变了客户体验,实现了流程自动化,并优化了决策。Amdocs
    的头像 发表于 11-19 14:48 333次阅读

    NVIDIA助力印度打造AI基础设施

    在孟买举办的 NVIDIA AI Summit 上,黄仁勋和穆克什·安巴尼(Mukesh Ambani)探讨了关于 AI 基础设施的投资,这些投资有望为各行各业带来变革。
    的头像 发表于 10-27 09:44 274次阅读

    人工智能ai4s试读申请

    目前人工智能在绘画对话等大模型领域应用广阔,ai4s也是方兴未艾。但是如何有效利用ai4s工具助力科研是个需要研究的课题,本书对ai4s基本
    发表于 09-09 15:36

    NVIDIA加速计算和 AI助力数字银行揭穿金融欺诈骗局

    Bunq 利用 NVIDIA AI 将其欺诈检测模型的训练速度提高近百倍。   欧洲新型银行 Bunq 正在 NVIDIA 加速计算和 AI助力
    的头像 发表于 06-27 17:41 846次阅读

    电子制造商采用NVIDIA AI和 Omniverse助力工厂提高运营效率并降低成本

    NVIDIA Omniverse、Isaac 和 Metropolis 助力 Delta Electronics、Foxconn、和硕、Wistron 以数字化方式构建、模拟和运营工厂数字孪生
    的头像 发表于 06-04 10:22 608次阅读

    助力科学发展,NVIDIA AI加速HPC研究

    科学家和研究人员正在利用 NVIDIA 威廉希尔官方网站 将生成式 AI 应用于代码生成、天气预报、遗传学和材料科学领域的 HPC 工作。
    的头像 发表于 05-14 09:17 410次阅读
    <b class='flag-5'>助力</b>科学发展,<b class='flag-5'>NVIDIA</b> <b class='flag-5'>AI</b>加速HPC<b class='flag-5'>研究</b>

    是德科技与NVIDIA携手推进6G研究平台发展

    是德科技近日宣布与现已开启与全新NVIDIA 6G研究平台的合作,加速推进6G威廉希尔官方网站 研究。该平台集成了N
    的头像 发表于 03-27 09:26 694次阅读

    NVIDIA推出微服务,助力企业迈向生成式AI

    NVIDIAAI 平台适用于任何高瞻远瞩的企业使用,而且比以往任何时候都更加易于应用。
    的头像 发表于 03-21 09:39 394次阅读

    NVIDIA AI Enterprise助力九州未来构建MaaS平台

    本案例中,九州未来的团队基于NVIDIA AI Enterprise的全栈软件套件,构建其 MaaS 大模型一体化开发及部署平台,该平台同时支持云端部署和私有化部署,通过九州未来开发的
    的头像 发表于 01-10 17:24 1206次阅读