0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看威廉希尔官方网站 视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

阿里云 & NVIDIA TensorRT Hackathon 2023 决赛圆满收官,26 支 AI 团队崭露头角

NVIDIA英伟达 来源:未知 2023-10-17 03:20 次阅读

2023 年 9 月 29 日,由阿里云、NVIDIA 联合主办,阿里云天池平台承办的 “NVIDIA TensorRT Hackathon 2023 生成式 AI 模型优化赛” 圆满落幕。该赛事自 2020 年以来,已成功举办三届,本届赛事于今年 7 月启动,吸引了来自全国 729 支开发者团队报名参赛,其中共有 40 支团队晋级复赛,最终 26 支团队于决赛中脱颖而出,分获冠军/亚军/季军及优胜奖,展现出了卓越的威廉希尔官方网站 实力。

扫码查看获奖名单

wKgZomUuk2eAEL0HAAAE0HD1P50226.png

解锁 NVIDIA TensorRT-LLM

挖掘生成式 AI 新需求

今年的 NVIDIA TensorRT Hackathon 着重提升选手开发 NVIDIA TensorRT 应用的能力。

在过去的一年里,生成式 AI 迎来了爆发式增长。计算机能够批量生成大量图像和文本,有的甚至能够媲美专业创作者的作品。这为未来生成式 AI 模型的发展铺平了道路,令人充满期待。正因如此,NVIDIATensorRT Hackathon 2023 选择生成式 AI 模型作为比赛的主题,以激发选手的创新潜力。

今年的比赛设置了初赛和复赛两组赛题——初赛阶段,选手需要利用 TensorRT 加速带有 ControlNet 的 Stable Diffusion pipeline,以优化后的运行时间和出图质量作为主要排名依据;复赛为开放赛题,选手可自由选择公开的 Transformer 模型,并利用 TensorRT 或 TensorRT-LLM 进行模型推理优化。

TensorRT作为 GPU 上的 AI 推理加速库,一直以来都备受业界认可与青睐。本次比赛的背后是 NVIDIA TensorRT 开发团队对产品不断进行改进和优化的结果。通过让更多模型能够顺利通过 ONNX 自动解析得到加速,并对常见模型结构进行深度优化,极大地提高了 TensorRT 的可用性和性能。这意味着大部分模型无需经过繁琐的手工优化,就能够在 TensorRT 上有出色的性能表现。

TensorRT-LLM是 NVIDIA 即将推出用于大语言模型推理的工具,目前已于官网开放试用(注意请使用公司邮箱申请,暂不接受使用 Gmail、Yahoo、QQ 或其他个人电子邮箱提交的申请,https://developer.nvidia.com/tensorrt-llm-early-access

作为此次复赛推荐使用的开发工具之一,TensorRT-LLM 包含 TensorRT 深度学习编译器,并且带有经过优化的 CUDA kernel、前处理和后处理步骤,以及多 GPU/多节点通信,可以在 NVIDIA GPU 上提供出类拔萃的性能。它通过一个开源的模块化 Python 应用 API 提高易用性和可扩展性,使开发人员能够尝试新的 LLM,提供最顶尖的性能和快速自定义功能,且不需要开发人员具备深厚的 C++ 或 CUDA 知识。

作为本次大赛的主办方之一,阿里云天池平台为参赛选手提供了卓越的云上威廉希尔官方网站 支持,在阿里云 GPU 云服务器中内置 NVIDIA A10 Tensor Core GPU,参赛者通过云上实例进行开发和训练优化模型,体验云开发时代的 AI 工程化魅力。同时,由 NVIDIA 30 名工程师组成导师团队,为晋级复赛的 40 支队伍提供一对一辅导陪赛,助力选手获得佳绩。

从实践到迭代

脑力与创造力的集中比拼

本次比赛中涌现出大量优秀的开发者。在获奖的 26 支团队中,有不少团队选择借助 TensorRT-LLM 对通义千问-7B 进行模型推理优化。

通义千问-7B(Qwen-7B)是阿里云研发的通义千问大模型系列的 70 亿参数规模的模型,基于 Transformer 的大语言模型,在超大规模的预训练数据上进行训练得到。在 Qwen-7B 的基础上,还使用对齐机制打造了基于大语言模型的 AI 助手 Qwen-7B-Chat。

获得此次比赛一等奖的“无声优化者(着)”团队,选择使用 TensorRT-LLM 完成对 Qwen-7B-Chat 实现推理加速。在开发过程中,克服了 Hugging Face 转 Tensor-LLM、首次运行报显存分配错误、模型 logits 无法对齐等挑战与困难,最终在优化效果上,吞吐量最高提升了 4.57 倍,生成速度最高提升了 5.56 倍

而获得此次赛事二等奖的“NaN-emm”团队,在复赛阶段,则选择使用 TensorRT-LLM 实现 RPTQ 量化。RPTQ 是一种新颖的基于重排序的量化方法,同时量化了权重与中间结果(W8A8),加速了计算。从最开始不熟悉任何 LLM 模型,到后续逐步学习和了解相关威廉希尔官方网站 ,“NaN-emm”团队启用了GEMM plugin,GPT Attention plugin,完成了 VIT、Q-Former、Vicuna-7B 模型的转化,最终通过 40 个测试数据,基于 Torch 框架推理耗时 145 秒,而经过 TensorRT-LLM 优化的推理引擎耗时为 115 秒

本次大赛还涌现了一批优秀的开发者,本届参赛选手邓顺子不仅率领队伍获得了一等奖,还收获了本次比赛唯一的特别贡献奖。他表示,2022 年的 Hackathon 比赛是他首次接触 TensorRT,这使他对模型推理加速产生了浓厚的兴趣。尽管当时未能进入复赛,但那次经历让他深感自身技能的不足。在上一次比赛中,他目睹了顶尖选手使用 FasterTransformer 在比赛中取得领先地位,这一经历让他对 AI 威廉希尔官方网站 有了更深入的理解和追求。随后,他积极做 TensorRT 上的模型开发,特别是对 ChatGLM/Bloom 等新兴模型进行了优化,感受到了 TensorRT 的强大。

今年,他再次参加了 NVIDIA TensorRT Hackathon 2023,利用 TensorRT-LLM 成功优化了 QWen 大模型,实现了自己的梦想。他感谢主办方给予的机会,团队的支持,以及所有参赛者的努力,他期待未来能与大家一起为 AI 威廉希尔官方网站 的发展创造更多奇迹。

人工智能应用场景创新日新月异,AI 模型的开发与部署也需要注入新的动能。在此次赛事中,选手们基于 TensorRT 挖掘出更多的潜能和功能需求。未来,阿里云和 NVIDIA 还将持续为开发者和威廉希尔官方网站 爱好者提供展示技能和创意的平台,天池平台将与更多优秀的开发者一同推进 TensorRT 的发展,让 AI 在 GPU 上更容易、更高效地部署。

*本文中图片来源于阿里云,若您有任何疑问或需要使用本文中图片,请联系阿里云。

GTC 2024 将于 2024 年 3 月 18 至 21 日在美国加州圣何塞会议中心举行,线上大会也将同期开放。点击“阅读原文”扫描下方海报二维码,关注更多会议及活动信息

wKgZomUuk2eADMjaAAFtccdApf0905.jpg


原文标题:阿里云 & NVIDIA TensorRT Hackathon 2023 决赛圆满收官,26 支 AI 团队崭露头角

文章出处:【微信公众号:NVIDIA英伟达】欢迎添加关注!文章转载请注明出处。


声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 英伟达
    +关注

    关注

    22

    文章

    3772

    浏览量

    91011

原文标题:阿里云 & NVIDIA TensorRT Hackathon 2023 决赛圆满收官,26 支 AI 团队崭露头角

文章出处:【微信号:NVIDIA_China,微信公众号:NVIDIA英伟达】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    昇腾AI创新大赛2024总决赛圆满落幕

    12月19日,昇腾AI创新大赛2024全国总决赛在福建厦门成功举办。本届赛事历时8个月,吸引了全国25个赛区的开发者踊跃报名参赛。经过层层遴选,来自企业赛道和高校赛道的83赛队在总决赛
    的头像 发表于 12-24 17:08 220次阅读
    昇腾<b class='flag-5'>AI</b>创新大赛2024总<b class='flag-5'>决赛圆满</b>落幕

    2024 AI+硬件创新大赛获奖名单出炉

    此前,2024年11月30日,由开放源子开源基金会主办,魔搭社区、英特尔与阿里共同承办的“AI+硬件创新大赛”总决赛在杭州圆满落幕。本次大
    的头像 发表于 12-09 16:01 236次阅读

    一种创新L型电子墨水屏桌牌崭露头角

    随着科技日新月异,商品或展品的信息展示方式也在不断革新。在高价值商品、博物馆、艺术展览、科技产品或零售店中,一种创新的L型电子墨水屏桌牌正悄然崭露头角。它凭借简约大气的外观和灵活的智能刷新功能,将成为未来专业显示的“潜力之星”。
    的头像 发表于 11-28 14:36 229次阅读

    MS39233驱动IC方案在台威廉希尔官方网站 领域崭露头角

    在当今科技飞速发展的时代,台威廉希尔官方网站 作为众多领域的关键支撑,不断追求更高的性能和更优的解决方案。其中,MS39233 无刷直流马达(BLDC)驱动 IC 方案以其独特的优势,在台威廉希尔官方网站 领域崭露头角
    的头像 发表于 09-12 18:04 280次阅读

    阿里巴巴季报出炉 阿里二季度营增长6%

    调整EBITA利润达到450.35亿。阿里巴巴的季度经营业绩超出市场预期。AI则是一个大亮点;AI正推动阿里重回增长。
    的头像 发表于 08-16 16:45 495次阅读

    生成式AI与传统AI的主要区别

    随着人工智能威廉希尔官方网站 的飞速发展,生成式AI(Generative AI)逐渐崭露头角,并与传统AI(也称为“规则驱动的AI”或“判别式
    的头像 发表于 07-05 17:35 2593次阅读

    生成式AI医疗崭露头角:Meta Llama 3 NIM引数十公司关注

    NVIDIA NIM推理微服务在ai.nvidia.com网站上供大家下载。这使得医疗健康开发者、科研人员及企业能在各类应用中合理创新,而NIM则支持各种标准应用编程接口的部署,使用起来相当灵活方便。
    的头像 发表于 06-07 15:25 1540次阅读

    苹果新款iPad搭载OLED屏与AI芯片,争夺AI PC新市场

    苹果还推出了新型OLED iPad Pro,搭载专为人工智能(AI)计算设计的M4芯片。此举显示出苹果既意在瓜分PC市场,又欲在AI PC竞争中崭露头角
    的头像 发表于 05-27 17:42 821次阅读

    佰维存储荣获“2023年度南山区专精特新企业增加值十强”

    近日,备受瞩目的2023年度南山区经济突出贡献企业TOP峰会圆满落幕。在这场被誉为南山企业界“奥斯卡”的盛会上,深圳佰维存储科技股份有限公司再次崭露头角,荣获“2023年度南山区专精特
    的头像 发表于 05-11 14:40 780次阅读

    瑞萨电子推出AI摄像头模块

    在全球智能化的大潮中,AI摄像头模块正崭露头角,以其出色的功能和广泛的应用领域,成为推动智能化进程不可或缺的核心组件。如今,无论是构建智慧城市、打造智能家居,还是推动工厂自动化,AI威廉希尔官方网站 都成为了提升效率、降低人力成本的关键。
    的头像 发表于 03-22 11:38 851次阅读

    知声推进港股IPO!AI解决方案收入排名中国第四,2023年营破7亿

    于2012年,当时国内的AI产业刚刚萌芽,它率先开启AGI威廉希尔官方网站 商业化。在成立仅三个月后,知声便发布了语音识别公有,在AI行业迅速崭露头角
    的头像 发表于 03-22 00:12 3532次阅读
    <b class='flag-5'>云</b>知声推进港股IPO!<b class='flag-5'>AI</b>解决方案收入排名中国第四,<b class='flag-5'>2023</b>年营<b class='flag-5'>收</b>破7亿

    Open RAN的未来及其对AT&amp;amp;T的意义

    3月14日消息,在“Connected America 2024”会议上,AT&amp;T高级副总裁兼网络首席威廉希尔官方网站 Yigal Elbaz讨论了Open RAN 的未来及其对AT&amp;T的意义。
    的头像 发表于 03-14 14:40 738次阅读

    高分子材料在光伏领域的主要应用特点有哪些?

    随着全球对可再生能源需求的急剧增长,太阳能作为一种清洁、可持续的能源正崭露头角
    的头像 发表于 03-13 10:42 902次阅读

    2024 AI智算产业趋势报告

    当下智算时代虽然在初级阶段,依托AI大模型形成的新一代算力基础设施和AI应用已经在诸多领域崭露头角。 数字中国愿景的实现,基石在于夯实数字化基础设施建设。
    发表于 01-17 09:40 493次阅读
    2024 <b class='flag-5'>AI</b>智算产业趋势报告

    2024年:AI威廉希尔官方网站 投资崭露头角,微软引领市场变革

    随着生成式人工智能(GenAI)的崛起,2023年成为了这一威廉希尔官方网站 的热议之年。然而,2024年将见证大多数公司向这一威廉希尔官方网站 进行实质性投入。
    的头像 发表于 12-26 16:54 791次阅读