0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看威廉希尔官方网站 视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

微软开源“傻瓜式”类ChatGPT模型训练工具

OSC开源社区 来源:OSC开源社区 2023-04-14 09:36 次阅读

在利用 OpenAI 的 GPT-4 为 Bing Chat、 Bing Image Creator、Microsoft 365 Copilot、Azure OpenAI Service 和 GitHub Copilot X 引入了类似 ChatGPT 的功能后。微软现又宣布推出 DeepSpeed-Chat,一种用于 RLHF 训练的低成本开源解决方案,基于微软开源的深度学习优化库 DeepSpeed;声称即使是使用单个 GPU,任何人也都可以创建高质量的 ChatGPT 式模型。

公司表示,尽管开源社区付出了巨大的努力,但目前仍缺乏一个支持端到端的基于人工反馈机制的强化学习(RLHF)的规模化系统,这使得训练强大的类 ChatGPT 模型十分困难。ChatGPT 模型的训练是基于 InstructGPT 论文中的 RLHF 方式,与常见的大语言模型的预训练和微调截然不同,使得现有深度学习系统在训练类 ChatGPT 模型时存在种种局限。因此,为了让 ChatGPT 类型的模型更容易被普通数据科学家和研究者使用,并使 RLHF 训练真正普及到 AI 社区,他们发布了 DeepSpeed-Chat。

8e39ca58-d9e7-11ed-bfe3-dac502259ad0.png

DeepSpeed-Chat 具有以下三大核心功能:

简化 ChatGPT 类型模型的训练和强化推理体验:只需一个脚本即可实现多个训练步骤,包括使用 Huggingface 预训练的模型、使用 DeepSpeed-RLHF 系统运行 InstructGPT 训练的所有三个步骤、甚至生成你自己的类 ChatGPT 模型。此外,还提供了一个易于使用的推理 API,用于用户在模型训练后测试对话式交互。

DeepSpeed-RLHF 模块:DeepSpeed-RLHF 复刻了 InstructGPT 论文中的训练模式,并确保包括 a) 监督微调(SFT),b) 奖励模型微调和 c) 基于人类反馈的强化学习(RLHF)在内的三个步骤与其一一对应。此外,还提供了数据抽象和混合功能,以支持用户使用多个不同来源的数据源进行训练。

DeepSpeed-RLHF 系统:其将 DeepSpeed 的训练(training engine)和推理能力(inference engine) 整合到一个统一的混合引擎(DeepSpeed Hybrid Engine or DeepSpeed-HE)中用于 RLHF 训练。DeepSpeed-HE 能够在 RLHF 中无缝地在推理和训练模式之间切换,使其能够利用来自 DeepSpeed-Inference 的各种优化,如张量并行计算和高性能 CUDA 算子进行语言生成,同时对训练部分还能从 ZeRO- 和 LoRA-based 内存优化策略中受益。DeepSpeed-HE 还能够自动在 RLHF 的不同阶段进行智能的内存管理和数据缓存。

文档内容指出,DeepSpeed Chat 与其他先进方案相比的优势在于:效率和经济性方面比现有系统快 15 倍以上,在 Azure 云上只需 9 小时即可训练一个 OPT-13B 模型,只需 18 小时既可训练 OPT-30B 模型,分别花费不到 300 美元和 600 美元。

在速度和可扩展性方面,即使是 13B 的模型也可以在 1.25 小时内训练,庞大的 175B 模型可以在不到一天的时间内使用 64 个 GPU 集群进行训练。在 RLHF 的可访问性和普及化方面,则可以在单个 GPU 上训练超过 130 亿参数的模型。此外还支持在相同的硬件上分别运行 6.5B 和 50B 的模型,实现高达 7.5 倍的提升。

8e44b440-d9e7-11ed-bfe3-dac502259ad0.png

8e6634f8-d9e7-11ed-bfe3-dac502259ad0.png

8e7a9b3c-d9e7-11ed-bfe3-dac502259ad0.png

尽管近期关于对 ChatGPT 类大语言模型发展的反对和担忧之声不断,但微软似乎仍在全力推进其 AI 开发。对于微软的此次发布,前 Meta AI 专家 Elvis 也激动地表示,DeepSpeed Chat 提供了 Alpaca 和 Vicuna 等所缺少的、一个端到端的 RLHF 管道来训练类似 ChatGPT 的模型,解决的是成本和效率方面的挑战。这是 “微软令人印象深刻的开源努力。..。.. 是一件大事”。

审核编辑 :李倩

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 微软
    +关注

    关注

    4

    文章

    6591

    浏览量

    104033
  • 深度学习
    +关注

    关注

    73

    文章

    5500

    浏览量

    121118
  • ChatGPT
    +关注

    关注

    29

    文章

    1560

    浏览量

    7605

原文标题:微软开源“傻瓜式”类ChatGPT模型训练工具,提速省钱15倍

文章出处:【微信号:OSC开源社区,微信公众号:OSC开源社区】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    微软否认使用用户数据训练AI模型

    近日,微软公司正式否认了一项关于其使用Microsoft 365应用程序中客户数据来训练人工智能模型的指控。这一声明旨在澄清近期在社交媒体上流传的某些用户的疑虑和误解。 此前,部分用户在社交媒体平台
    的头像 发表于 12-02 10:33 139次阅读

    什么是大模型、大模型是怎么训练出来的及大模型作用

    ,基础模型。   大模型是一个简称,完整的叫法,应该是“人工智能预训练模型”。预训练,是一项威廉希尔官方网站 ,我们后面再解释。   我们现在口头上常说
    的头像 发表于 11-25 09:29 1238次阅读
    什么是大<b class='flag-5'>模型</b>、大<b class='flag-5'>模型</b>是怎么<b class='flag-5'>训练</b>出来的及大<b class='flag-5'>模型</b>作用

    ChatGPT:怎样打造智能客服体验的重要工具

    ChatGPT作为智能对话生成模型,可以帮助打造智能客服体验的重要工具。以下是一些方法和步骤:1.数据收集和准备:收集和整理与客服相关的数据,包括常见问题、回答示例、客户对话记录等。这将用于
    的头像 发表于 11-01 11:12 168次阅读
    <b class='flag-5'>ChatGPT</b>:怎样打造智能客服体验的重要<b class='flag-5'>工具</b>?

    llm模型chatGPT的区别

    基于Transformer架构的预训练语言模型,它可以生成连贯、自然的文本。ChatGPT使用GPT模型作为基础,通过微调和训练来实现对话生
    的头像 发表于 07-09 09:55 1042次阅读

    名单公布!【书籍评测活动NO.34】大语言模型应用指南:以ChatGPT为起点,从入门到精通的AI实践教程

    ,包括开源和闭源两。闭源模型的代表有OpenAI 的 GPT 系列和 Anthropic 的 Claude 系列。毫无疑问,目前 OpenAI 的 GPT 系列模型在整个行业中处于领
    发表于 06-03 11:39

    微软将推出自研AI大模型

    微软正在紧锣密鼓地训练一款全新的自研人工智能大模型——“MAI-1”。据悉,这款模型规模庞大,足以与谷歌的Gemini和OpenAI的ChatGPT
    的头像 发表于 05-13 11:30 662次阅读

    【大语言模型:原理与工程实践】大语言模型的预训练

    大语言模型的核心特点在于其庞大的参数量,这赋予了模型强大的学习容量,使其无需依赖微调即可适应各种下游任务,而更倾向于培养通用的处理能力。然而,随着学习容量的增加,对预训练数据的需求也相应
    发表于 05-07 17:10

    微软自研AI大模型即将问世

    微软正悄然酝酿一项重大威廉希尔官方网站 突破,据内部消息人士透露,公司正全力训练一款名为“MAI-1”的自研人工智能大模型。这款模型备受期待,其规模庞大,足以与谷歌的Gemini和OpenAI的
    的头像 发表于 05-07 14:46 476次阅读

    【大语言模型:原理与工程实践】大语言模型的基础威廉希尔官方网站

    模型架构奠定基础。然后,引介一些经典的预训练模型,如BERT、GPT等。最后,解读ChatGPT和LLaMA系列模型,帮助读者初步感知大语言
    发表于 05-05 12:17

    NVIDIA加速微软最新的Phi-3 Mini开源语言模型

    NVIDIA 宣布使用 NVIDIA TensorRT-LLM 加速微软最新的 Phi-3 Mini 开源语言模型。TensorRT-LLM 是一个开源库,用于优化从 PC 到云端的
    的头像 发表于 04-28 10:36 556次阅读

    探索ChatGPT模型的人工智能语言模型

    最大的区别ChatGPT是通过对话数据进行预训练,而不仅仅是通过单一的句子进行预训练,这使得ChatGPT能够更好地理解对话的上下文,并进行连贯的回复。
    发表于 04-24 10:19 670次阅读
    探索<b class='flag-5'>ChatGPT</b><b class='flag-5'>模型</b>的人工智能语言<b class='flag-5'>模型</b>

    李彦宏:开源模型将逐渐滞后,文心大模型提升训练与推理效率

    李彦宏解释道,百度自研的基础模型——文心 4.0,能够根据需求塑造出适应各类场景的微型版模型,并支持精细调整以及后预训练。相较于直接使用开源模型
    的头像 发表于 04-16 14:37 441次阅读

    名单公布!【书籍评测活动NO.30】大规模语言模型:从理论到实践

    为目的。国内的文心一言就属于这一。 垂直大模型,聚焦解决垂直领域问题,是在通用大模型的基础上训练行业专用模型,应用到金融、医疗、教育、养老
    发表于 03-11 15:16

    谷歌模型训练软件有哪些?谷歌模型训练软件哪个好?

    谷歌在模型训练方面提供了一些强大的软件工具和平台。以下是几个常用的谷歌模型训练软件及其特点。
    的头像 发表于 03-01 16:24 878次阅读

    微软和OpenAI面临关于ChatGPT和Copilot的更多诉讼指控

    这三家媒体指责 OpenAI 聊天机器人 ChatGPT微软Copilot也使用此项威廉希尔官方网站 )在训练过程中,未经授权便擅自拷贝了发布于自家网站的文章。他们宣称,若用户知晓 ChatGPT
    的头像 发表于 02-29 11:28 552次阅读