0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看威廉希尔官方网站 视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

自然语言处理或将迎来新的范式变迁

深度学习自然语言处理 来源:李rumor 作者:车万翔 2022-12-08 16:59 次阅读

最近几天被OpenAI推出的ChatGPT[1]刷屏了,其影响已经不仅局限于自然语言处理(NLP)圈,就连投资圈也开始蠢蠢欲动了,短短几天ChatGPT的用户数就超过了一百万。通过众多网友以及我个人对其测试的结果看,ChatGPT的效果可以用惊艳来形容,具体结果我在此就不赘述了。不同于GPT-3刚推出时人们的反应,对ChatGPT大家发出更多的是赞叹之词。聊天、问答、写作、编程等等,样样精通。因此也有人惊呼,“通用人工智能(AGI)即将到来”、“Google等传统搜索引擎即将被取代”,所以也对传说中即将发布的GPT-4更加期待。

从威廉希尔官方网站 角度讲,ChatGPT还是基于大规模预训练语言模型(GPT-3.5)强大的语言理解和生成的能力,并通过在人工标注和反馈的大规模数据上进行学习,从而让预训练语言模型能够更好地理解人类的问题并给出更好的回复。这一点上和OpenAI于今年3月份推出的InstructGPT[2]是一致的,即通过引入人工标注和反馈,解决了自然语言生成结果不易评价的问题,从而就可以像玩儿游戏一样,利用强化学习威廉希尔官方网站 ,通过尝试生成不同的结果并对结果进行评分,然后鼓励评分高的策略、惩罚评分低的策略,最终获得更好的模型。

不过说实话,我当时并不看好这一威廉希尔官方网站 路线,因为这仍然需要大量的人工劳动,本质上还是一种“人工”智能。不过ChatGPT通过持续投入大量的人力,把这条路走通了,从而更进一步验证了那句话,“有多少人工,就有多少智能”。

不过,需要注意的是,ChatGPT以及一系列超大规模预训练语言模型的成功将为自然语言处理带来新的范式变迁,即从以BERT为代表的预训练+精调(Fine-tuning)范式,转换为以GPT-3为代表的预训练+提示(Prompting)的范式[3]。所谓提示,指的是通过构造自然语言提示符(Prompt),将下游任务转化为预训练阶段的语言模型任务。例如,若想识别句子“我喜欢这部电影。”的情感倾向性,可以在其后拼接提示符“它很 ”。如果预训练模型预测空格处为“精彩”,则句子大概率为褒义。这样做的好处是无需精调整个预训练模型,就可以调动模型内部的知识,完成“任意”的自然语言处理任务。当然,在ChatGPT出现之前,这种范式转变的趋势并不明显,主要有两个原因:

第一,GPT-3级别的大模型基本都掌握在大公司手里,因此学术界在进行预训练+提示的研究时基本都使用规模相对比较小的预训练模型。由于规模规模不够大,因此预训练+提示的效果并不比预训练+精调的效果好。而只有当模型的规模足够大后,才会涌现(Emerge)出“智能”[4]。最终,导致之前很多在小规模模型上得出的结论,在大规模模型下都未必适用了。

第二,如果仅利用预训练+提示的方法,由于预训练的语言模型任务和下游任务之间差异较大,导致这种方法除了擅长续写文本这种预训练任务外,对其他任务完成得并不好。因此,为了应对更多的任务,需要在下游任务上继续预训练(也可以叫预精调),而且现在的趋势是在众多的下游任务上预精调大模型,以应对多种、甚至未曾见过的新任务[5]。所以更准确地说,预训练+预精调+提示将成为自然语言处理的新范式。

不同于传统预训练+精调范式,预训练+预精调+提示范式将过去一个自然语言处理模型擅长处理一个具体任务的方式,转换为了用一个模型处理多个任务,甚至未曾见过的通用任务的方式。所以从这个角度来讲,通用人工智能也许真的即将到来了。这似乎也和我几年前的预测相吻合,我当时曾预测,“结合自然语言处理历次范式变迁的规律(图1),2018年预训练+精调的范式出现之后5年,即2023年自然语言处理也许将迎来新的范式变迁”。

30d6543e-76c4-11ed-8abf-dac502259ad0.jpg

那么,接下来如何进一步提升预训练+预精调+提示新范式的能力,并在实际应用中将其落地呢?

首先,显式地利用人工标注和反馈仍然费时费力,我们应该设法更自然地获取并利用人类的反馈。也就是在实际应用场景中,获取真实用户的自然反馈,如其回复的语句、所做的行为等,并利用这些反馈信息提升系统的性能,我们将这种方式称为交互式自然语言处理。不过用户的交互式反馈相对稀疏,并且有些用户会做出恶意的反馈,如何克服稀疏性以及避免恶意性反馈都将是亟待解决的问题。

其次,目前该范式生成的自然语言文本具有非常好的流畅性,但是经常会出现事实性错误,也就是会一本正经地胡说八道。当然,使用上面的交互式自然语言处理方法可以一定程度上解决此类问题,不过对于用户都不知道答案的问题,他们是无法对结果进行反馈的。此时又回到了可解释性差,这一深度学习模型的老问题上。如果能够像写论文时插入参考文献一样,在生成的结果中插入相关信息的出处,则会大大提高结果的可解释性。

最后,该范式依赖超大规模预训练语言模型,然而这些模型目前只掌握在少数的大公司手中,即便有个别开源的大模型,由于其过于庞大,小型公司或研究组也无法下载并使用它们。所以,在线调用是目前使用这些模型最主要的模式。在该模式下,如何针对不同用户面对的不同任务,使用用户私有的数据对模型进行进一步预精调,并且不对公有的大模型造成影响,成为该范式实际应用落地所迫切需要解决的问题。此外,为了提高系统的运行速度,如何通过在线的大模型获得离线的小模型,并且让离线小模型保持大模型在某些任务上的能力,也成为模型能实际应用的一种解决方案。

审核编辑:郭婷

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 人工智能
    +关注

    关注

    1791

    文章

    47208

    浏览量

    238290
  • nlp
    nlp
    +关注

    关注

    1

    文章

    488

    浏览量

    22033

原文标题:哈工大车万翔:自然语言处理范式正在变迁

文章出处:【微信号:zenRRan,微信公众号:深度学习自然语言处理】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    自然语言处理与机器学习的关系 自然语言处理的基本概念及步骤

    Learning,简称ML)是人工智能的一个核心领域,它使计算机能够从数据中学习并做出预测决策。自然语言处理与机器学习之间有着密切的关系,因为机器学习提供了一种强大的工具,用于从大量文本数据中提取模式和知识,从而提高NLP系
    的头像 发表于 12-05 15:21 457次阅读

    语音识别与自然语言处理的关系

    在人工智能的快速发展中,语音识别和自然语言处理(NLP)成为了两个重要的威廉希尔官方网站 支柱。语音识别威廉希尔官方网站 使得机器能够理解人类的语音,而自然语言处理则让机器能够理解、解释和生成人类
    的头像 发表于 11-26 09:21 335次阅读

    什么是LLM?LLM在自然语言处理中的应用

    随着人工智能威廉希尔官方网站 的飞速发展,自然语言处理(NLP)领域迎来了革命性的进步。其中,大型语言模型(LLM)的出现,标志着我们对语言理解能力的一次
    的头像 发表于 11-19 15:32 538次阅读

    ASR与自然语言处理的结合

    。以下是对ASR与自然语言处理结合的分析: 一、ASR与NLP的基本概念 ASR(自动语音识别) : 专注于人类的语音转换为文字。 涉及从声音信号中提取特征,并将这些特征映射到文本。 NLP(
    的头像 发表于 11-18 15:19 400次阅读

    自然语言处理与机器学习的区别

    是计算机科学、人工智能和语言学领域的分支,它致力于使计算机能够理解、解释和生成人类语言。NLP的目标是缩小人类语言和计算机之间的差距,使计算机能够处理和生成
    的头像 发表于 11-11 10:35 555次阅读

    图像识别威廉希尔官方网站 包括自然语言处理

    图像识别威廉希尔官方网站 与自然语言处理是人工智能领域的两个重要分支,它们在很多方面有着密切的联系,但也存在一些区别。 一、图像识别威廉希尔官方网站 与自然语言处理的关系 1.1 图像识别威廉希尔官方网站 的定义 图像识别威廉希尔官方网站
    的头像 发表于 07-16 10:54 738次阅读

    自然语言处理威廉希尔官方网站 有哪些

    自然语言处理(Natural Language Processing,简称NLP)是人工智能领域的一个分支,它致力于使计算机能够理解、解释和生成人类语言自然语言
    的头像 发表于 07-03 14:30 1103次阅读

    自然语言处理模式的优点

    自然语言处理(Natural Language Processing,简称NLP)是人工智能领域的一个重要分支,它致力于使计算机能够理解、生成和处理人类语言。随着威廉希尔官方网站 的发展,
    的头像 发表于 07-03 14:24 765次阅读

    自然语言处理威廉希尔官方网站 的核心是什么

    自然语言处理(Natural Language Processing,简称NLP)是人工智能领域的一个重要分支,其核心目标是使计算机能够理解、生成和处理人类语言。NLP威廉希尔官方网站 的发展已经取
    的头像 发表于 07-03 14:20 718次阅读

    自然语言处理是什么威廉希尔官方网站 的一种应用

    自然语言处理(Natural Language Processing,简称NLP)是人工智能和语言学领域的一个分支,它涉及到使用计算机威廉希尔官方网站 来处理、分析和生成
    的头像 发表于 07-03 14:18 818次阅读

    自然语言处理包括哪些内容

    ,从而实现人机之间的自然交流。本文详细介绍NLP的主要内容,包括基本概念、关键威廉希尔官方网站 、应用领域等。 一、自然语言处理的基本概念 自然语言
    的头像 发表于 07-03 14:15 828次阅读

    自然语言处理属于人工智能的哪个领域

    自然语言处理(Natural Language Processing,简称NLP)是人工智能(Artificial Intelligence,简称AI)领域的一个重要分支。它涉及到计算机与人类语言
    的头像 发表于 07-03 14:09 1310次阅读

    什么是自然语言处理 (NLP)

    自然语言处理(Natural Language Processing, NLP)是人工智能领域中的一个重要分支,它专注于构建能够理解和生成人类语言的计算机系统。NLP的目标是使计算机能够像人类一样
    的头像 发表于 07-02 18:16 1164次阅读

    自然语言处理威廉希尔官方网站 的原理的应用

    自然语言处理(Natural Language Processing, NLP)作为人工智能(AI)领域的一个重要分支,旨在使计算机能够理解和处理人类自然语言。随着互联网的普及和大数据
    的头像 发表于 07-02 12:50 516次阅读

    神经网络在自然语言处理中的应用

    自然语言处理(NLP)是人工智能领域中的一个重要分支,它研究的是如何使计算机能够理解和生成人类自然语言。随着人工智能威廉希尔官方网站 的飞速发展,神经网络在自然语言
    的头像 发表于 07-01 14:09 489次阅读