语音领域的GPT时刻：Meta 发布「突破性」生成式语音系统，一个通用模型解决多项任务-电子发烧友网

继开源 LLaMA 之后，Meta 在生成式 AI 方向又公布一项重大研究。

我们知道，GPT、DALL-E 等大规模生成模型彻底改变了自然语言处理和计算机视觉研究。这些模型可以生成高保真文本或图像，而且它们有个重要特点就是「通才」，可以解决没训过的任务。相比之下，语音生成模型在规模和任务泛化方面一直没有「突破性」成果。今日，Meta 介绍了一种「突破性」的生成式语音系统，它可以合成六种语言的语音，执行噪声消除、内容编辑、转换音频风格等。Meta 称之为最通用的语音生成 AI。

相关研究论文也已公布。接下来我们具体看下这下项研究。

论文：https://research.facebook.com/publications/voicebox-text-guided-multilingual-universal-speech-generation-at-scale/ Meta 表示，Voicebox 是第一个没有经过专门针对语音生成的训练，却可以泛化到语音生成任务的模型。与图像和文本的生成一样，Voicebox 可以创建多种样式的语音输出，包括从头开始创建输出和修改给定的样本。Voicebox 可以合成六种语言的语音，以及执行噪声去除、内容编辑、风格转换和多样化样本生成。在 Voicebox 出现之前，生成语音的 AI 需要使用精心准备的训练数据对每项任务进行特定训练。而 Voicebox 仅需要从原始音频和随附的转录文本中学习，并且 Voicebox 可以修改给定样本的任何部分。 Voicebox 基于一种称为流匹配（Flow Matching）的方法，该方法已被证明可以改进扩散模型。在生成效果方面，Voicebox 的可懂度（词错率：1.9% VS 5.9%）和音频相似度（0.681 VS 0.580）优于当前英文语音生成 SOTA 模型 VALL-E，并且速度快了 20 倍。在跨语言风格迁移任务上，Voicebox 优于 YourTTS，将平均词错率从 10.9% 降低到 5.2%，将音频相似度从 0.335 提高到 0.481。

Voicebox 在词错率指标上的表现优于 Vall-E 和 YourTTS，实现新的 SOTA。

在英语和多语言基准的音频风格相似度指标上，Voicebox 都取得了新的最佳结果。 语音生成新方法 现有语音合成器的一大主要局限是它们的训练数据都是针对目标任务准备的。这些输入基本都要求是单调的干净数据，也因此难以获取，数据量很有限，并且用这些数据训练出的模型也只能输出单调的声音。 Voicebox 基于流匹配（Flow Matching）模型，这是 Meta 在非自回归生成模型方面的最新进展，其可以学习到文本和语音之间高度非确定性的映射关系。非确定性映射很有用，因为这能让 Voicebox 学习不同的语音数据而无需仔细标注这些变体。也就是说，Voicebox 可以在更多样化的数据上训练，因此可使用数据的范围也大得多。 Meta 训练 Voicebox 时使用的数据来自英语、法语、德语、西班牙语、波兰语、葡萄牙语这六种语言，包含 50000 小时的录音和转录文本以及公共领域的有声书。Voicebox 的训练目标是根据周围语音和某片段的转录文本来预测该片段的语音。学习过基于上下文填充语音之后，该模型就能让其用于各种语音生成任务，包括生成音频录音中的缺失片段（无需重建整个输入）。 Voicebox 的这种多功能性使其可以很好地执行多种不同任务，包括： 基于语境的文本转语音合成：仅需使用长度 2 秒的输入音频样本，Voicebox 就能匹配样本的音频风格并将其用于文本转语音生成。这一能力具有重要的应用前景，比如可以为难以说话的人带来语音表达能力，还能让用户为 NPC 角色和虚拟助手定制声音。 跨语言风格迁移：给定一段语音样本和对应的文本片段，不管是英语、法语、德语，还是西班牙语、波兰语、葡萄牙语，Voicebox 都能以该语言读出该文本。这是一种激动人心的能力，因为这能帮助人们自然而真实地交流 —— 即便他们不说同一种语言。 语音降噪和编辑：Voicebox 的上下文学习能力让它可以在音频录音中生成无缝衔接的片段。要是音频中出现了被噪声污染的片段，它也可以为其重新合成，甚至无需重新录音就能替换原音频中说错的词句。用户可以辨别原始音频中被噪声（比如犬吠声）污染的片段，然后将其裁剪下来，再指示 Voicebox 重新生成该片段。这项能力有望让音频编辑变得非常简单，就像现在流行的图像编辑工具调整图像一样。 多样化的语音采样：Voicebox 学习了多样化的野外数据，所以可以生成就像在现实世界中说话的声音，并且支持上述六种语言。未来，这种能力可用于合成数据，然后用于训练语音助理模型等。Meta 的实验结果表明，基于 Voicebox 合成语音训练的语音识别模型的表现几乎不逊于使用真实语音训练的模型 —— 错误率仅高了 1%；而要是使用之前的文本转语音模型合成的数据训练，错误率会提升 45%-70%。 Meta 表示，Voicebox 作为首个能成功执行任务泛化的高效的多功能模型，将开创一个语音生成式 AI 的新时代。但 Meta 也没有否认这项威廉希尔官方网站可能被误用乃至被恶意使用。为了应对这种可能性，降低潜在的风险，Meta 还构建了一种分类器，其宣称可有效分辨真实语音和 VoiceBox 生成的音频。 Voicebox 是生成式 AI 研究的重要一步。具备任务泛化能力的生成式 AI 模型正在催生出涉及文本、图像和视频生成的实际应用，这将让生成式 AI 更上一层楼。 参考内容：https://www.engadget.com/metas-open-source-speech-ai-recognizes-over-4000-spoken-languages-161508200.htmlhttps://ai.facebook.com/blog/voicebox-generative-ai-model-speech/

原文标题：语音领域的GPT时刻：Meta 发布「突破性」生成式语音系统，一个通用模型解决多项任务

文章出处：【微信公众号：智能感知与物联网威廉希尔官方网站研究所】欢迎添加关注！文章转载请注明出处。

声明：本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人，不代表电子发烧友网立场。文章及其配图仅供工程师学习之用，如有内容侵权或者其他违规问题，请联系本站处理。举报投诉

物联网

物联网

+关注

关注
2909

文章
44635

浏览量
373383

原文标题：语音领域的GPT时刻：Meta 发布「突破性」生成式语音系统，一个通用模型解决多项任务

文章出处：【微信号：tyutcsplab，微信公众号：智能感知与物联网威廉希尔官方网站研究所】欢迎添加关注！文章转载请注明出处。

Meta重磅发布Llama 3.3 70B：开源AI模型的新里程碑

在人工智能领域，Meta的最新动作再次引起了全球的关注。今天，我们见证了Meta发布的 Llama 3.3 70B 模型，这是

发表于 12-18 16:46 •127次阅读

<b class='flag-5'>Meta</b>重磅<b class='flag-5'>发布</b>Llama 3.3 70B：开源AI<b class='flag-5'>模型</b>的新里程碑

阶跃星辰发布国内首个千亿参数端到端语音大模型

近日，阶跃星辰在官方公众号上宣布了一项重大突破——推出Step-1o千亿参数端到端语音大模型。该模型被誉为“国内首个千亿参数端到端

发表于 12-17 13:43 •183次阅读

Meta发布新AI模型Meta Motivo，旨在提升元宇宙体验

Meta在人工智能领域迈出了重要一步。通过这款模型，Meta希望能够为用户提供更加自然、流畅的元宇宙交互体验。数字代理在元宇宙中的动作将更加

发表于 12-16 10:34 •303次阅读

【实操文档】在智能硬件的大模型语音交互流程中接入RAG知识库

本帖最后由 jf_40317719 于 2024-9-29 17:13 编辑智能硬件的语音交互接入大模型后可以直接理解自然语言内容，但大模型作为一

发表于 09-29 17:12

英伟达预测机器人领域或迎“GPT-3时刻”

未来2-3年内，机器人基础模型的研究将迎来重大突破，这一时刻被形象地比喻为机器人领域的“GPT-3时刻

发表于 09-20 17:05 •797次阅读

Jim Fan展望:机器人领域即将迎来GPT-3式突破

英伟达科学家9月19日，科技媒体The Decoder发布了一则引人关注的报道，英伟达高级科学家Jim Fan在近期预测，机器人威廉希尔官方网站将在未来两到三年内迎来类似GPT-3在语言处理领域的

发表于 09-19 15:13 •579次阅读

Meta发布Imagine Yourself AI模型，重塑个性化图像生成未来

Meta公司近日在人工智能领域迈出了重要一步，隆重推出了其创新之作——“Imagine Yourself”AI模型，这一

发表于 08-26 10:59 •515次阅读

Meta发布全新开源大模型Llama 3.1

科技巨头Meta近期震撼发布了其最新的开源人工智能（AI）模型——Llama 3.1，这一举措标志着Meta在AI

发表于 07-24 18:25 •1442次阅读

Transformer模型在语音识别和语音生成中的应用优势

自然语言处理、语音识别、语音生成等多个领域展现出强大的潜力和广泛的应用前景。本文将从Transformer模型的基本原理出发，深入探讨其在

发表于 07-03 18:24 •1116次阅读

聆思CSK6视觉语音大模型AI开发板入门资源合集（硬件资料、大模型语音/多模态交互/英语评测SDK合集）

大模型语音问答、拍照识图、大模型绘图等丰富供能示例，支持语音唤醒、多轮语音交互。 2智能对话除了大模型

发表于 06-18 17:33

中国电信发布首个支持30种方言混说语音大模型

中国电信人工智能研究院（TeleAI）近日发布了一项引领业界的语音识别威廉希尔官方网站 ——星辰超多方言语音识别大模型。这

发表于 05-28 09:14 •574次阅读

【大语言模型：原理与工程实践】揭开大语言模型的面纱

学习能力。这些模型以生成能力强和灵活性强为特点，逐渐演变成一种通用计算平台。其参数多样性、生成能

发表于 05-04 23:55

OpenAI发布首个视频生成模型Sora

OpenAI近日宣布推出其全新的文本到视频生成模型——Sora。这一突破性的威廉希尔官方网站将视频创作带入了一个

发表于 02-18 10:07 •1064次阅读

Meta发布CodeLlama70B开源大模型

Meta发布CodeLlama70B开源大模型 Meta发布了开源大模型CodeLlama70B

发表于 01-31 10:30 •1421次阅读

Meta推出最新版AI代码生成模型Code Llama70B

Meta近日宣布了其最新版本的AI代码生成模型Code Llama70B，并称其为“目前最大、最优秀的模型”。这一更新标志着

发表于 01-30 18:21 •1450次阅读

搜索历史

语音领域的GPT时刻：Meta 发布「突破性」生成式语音系统，一个通用模型解决多项任务

评论

Meta重磅发布Llama 3.3 70B：开源AI模型的新里程碑

阶跃星辰发布国内首个千亿参数端到端语音大模型

Meta发布新AI模型Meta Motivo，旨在提升元宇宙体验

【实操文档】在智能硬件的大模型语音交互流程中接入RAG知识库

英伟达预测机器人领域或迎“GPT-3时刻”

Jim Fan展望:机器人领域即将迎来GPT-3式突破

Meta发布Imagine Yourself AI模型，重塑个性化图像生成未来

Meta发布全新开源大模型Llama 3.1

Transformer模型在语音识别和语音生成中的应用优势

聆思CSK6视觉语音大模型AI开发板入门资源合集（硬件资料、大模型语音/多模态交互/英语评测SDK合集）

中国电信发布首个支持30种方言混说语音大模型

【大语言模型：原理与工程实践】揭开大语言模型的面纱

OpenAI发布首个视频生成模型Sora

Meta发布CodeLlama70B开源大模型

Meta推出最新版AI代码生成模型Code Llama70B