0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看威廉希尔官方网站 视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

为什么AI的翻译水平还远不能和人类相比?

电子工程师 来源:未知 作者:工程师李察 2018-08-18 08:49 次阅读

前一段时间,大家都在热议 Google 的翻译系统出现了一些相当奇怪的结果,例如下图呈现的是最被大家谈及的一个翻译结果。

后来 Google 发言人也对包括数据在内等因素做出了解释(“这只是一个将无意义的话语输入系统然后产生无意义输出的功能”),随后界内一些威廉希尔官方网站 人员也发表了分析与评论,表示这可能与 Google 采用的 NMT(神经机器翻译) 威廉希尔官方网站 有关。

然而经过这一系列事件过后,大家又重新开始思考一个问题:AI 的翻译水平真的已经可以和人类媲美了吗?而本文的作者从 NMT 威廉希尔官方网站 出发,分析了这项威廉希尔官方网站 仍存在的问题,给出了自己明确的态度及答案:AI的翻译水平还远不能和人类相比。

最近,诸多媒体都报道了有关人工智能的翻译已经可以达到人类译者水平的新闻,如:

The Verge – Google's AI translation system is approaching human-level accuracy

The Verge – 谷歌 AI 翻译系统的准确度趋近于人类

Quartz – AI-based translation to soon reach human levels

Quartz – 基于人工智能的翻译即将达到人类水平

ZDNet - Microsoft researchers match human levels in translation news from Chinese to English

ZDNet - 微软研究员表示,机器翻译中文新闻的水平可与人类匹敌

这一显著突破源于神经机器翻译(Neural Machine Translation, NMT)的出现,该方法使用神经网络来进行机器翻译。这项威廉希尔官方网站 应用起来非常出色,是因为它有处理大规模翻译数据的能力。谷歌、Facebook 等大型科技公司在过去几年都引入了 NMT,并开发出了较高水平的翻译功能。

一个例子:引入 NMT 后,谷歌翻译的水平有明显提升

但 NMT 系统真的可以像上述题目说的那样,已经可以和人类译者相比了吗?还差得远呢。我们发现,目前的 NMT 系统并没有他们所说的那么好用,他们忽视了翻译中的许多关键问题。

什么是 NMT?

NMT 在整个 AI 领域中的位置

机器翻译(MT)是 AI 的一个分支,它致力于通过软件来进行不同语言之间的翻译。神经机器翻译(NMT)是一种较新颖的方法,它利用神经网络实现机器翻译。神经网络可以被训练,对数据进行模式识别,从而将输入数据转换为我们所需要的形式。接下来,我们看一个有关 NMT 系统的例子:

一个例子:将法语翻译成英语,引入 NMT 后质量有所提高

如果要将一句法语翻译成英语,NMT 的执行过程如下:先把需要翻译的法语句子输入网络,其中每个单词都会被编码成由数字组成的向量,这样网络才能对其进行处理。接下来,这些数字经过一系列数学公式的计算,最终生成一个新的数字序列,这个序列就代表了要输出的英文句子。

除了上述过程,在实际情况中,还有几个重要步骤:

在进行翻译前,人类工程师需要决定网络的具体结构;

工程师若要运行这样的网络,需要使用具备强大处理能力的计算机;

网络需要基于大量的语料数据,进行反复训练,才能具备合格的翻译水平;

最后,在测试 NMT 系统过程中,工程师要使用训练数据集中没有的语句进行测试,以确保系统在处理外部数据时也能正常工作。
强大的神经网络来源于强大的数据

引入海量数据后,深度神经网络的表现超过了其他模型

神经网络近期获得的成功源于大规模数据的出现。当有了足够多的数据作支撑,深度神经网络的提升尤为明显。同时,网络达到足够的深度,NMT 系统翻译的语句相比于过去威廉希尔官方网站 翻译的结果也更为流畅。这里的“流畅”是指,输出的文本不会过于生硬,甚至有时候会被认为是人工翻译的结果。

NMT 存在什么问题?

回想文章开头提到的几个题目 -- NMT 听起来极其卓越,但它真的可以与人工翻译相比吗?根本不可能。事实上,与人类相比 NMT 在很多方面都存在缺陷。

这些缺陷可归为三类:可靠性、记忆力和判断力。

可靠性:这可能是最令人担忧的一点,NMT 翻译并不可靠。NMT 系统无法保证准确度,常常出现漏掉否定词、整个单词甚至整个短语的情况。

记忆力:NMT 系统还有严重的短期记忆缺陷。目前,我们所建立的系统每次只能翻译一句话,导致其忽略了上文中可能包含的信息

判断力:NMT 系统对外部的信息与知识几乎没有判断能力。对翻译工作来说,把握一段内容在特定语境中的理解是很重要的,但对机器来说这很难做到。

在接下来的内容里,我会阐述有关这三个缺陷的细节。

可靠性

NMT 无法检查其输出的信息是否真实。例如,NMT 系统可能漏掉否定词或整段信息。这些错误会导致什么后果呢?

“The US did not attack the EU! Nothing to fear,”

这是著名报纸 Le Monde 中用法语报道的内容,然后机器翻译成英语的结果是:

“The US attacked the EU! Fearless.”

试想象,如果这样错误的翻译遍布互联网,在假新闻病毒式传播之前我们来得及更正吗?令人沮丧的是,这样的灾难几乎无法挽回。

▌记忆力

当前的 NMT 系统还有一个明显的不足:每次只能单独翻译一个句子。这意味着机器并不知道它们当前翻译的句子之前的内容。而作为人类,我们阅读文章的时候会联系上下文。

那么为什么我们在训练 NMT 系统时,每次只用一个句子而不是整段文档呢?这里面有威廉希尔官方网站 原因:首先,对神经系统来说,读取一段长文档,储存所有信息并快速调用都很困难;其次,当输入的信息量过大时,系统运行的时间也会更长。所以为了提高效率,我们在训练过程中都使用了单独的语句。

总之,不能联系上下文是 NMT 的主要问题,尤其对于翻译一个故事来说至关重要。讲故事是人类的行为,是创造力、智慧和表达的结合,也因此将我们与动物区分开来。如果 AI 翻译系统连有条理地翻译一个故事都做不到,更不用说文法上是否优雅,怎么能说它们达到了人类的水平呢?

▌判断力

假设你在读一篇关于音乐会的文章,然后使用 NMT 系统把英语翻译成法语,发给了你讲法语的朋友。在英文原文中,文章记录了对许多音乐会参与者的采访,其中包括一位年轻人的感慨:

“I’m a huge metal fan!”

但这句话被翻译成了:

“Je suis un énorme ventilateur en métal” (“I’m a large ventilator made of metal.”)

在这篇文章中,系统并不知道 "metal fan" 是指热爱金属音乐的一类人,直接翻译成了由金属制造的通风装置。

这个问题在机器发展初期就存在了,但至今无法解决。早在 1958 年的相关论文中就提到了该问题,这里有一个经典的例子:

The box was in the pen.

对此 NMT 系统会被 "pen" 这个单词困扰:它在这里指写字的工具还是围栏呢?

对 NMT 系统来说,关于世界的常识知识对翻译来说尤为重要。然而,对这些知识全部进行编码以及从大量数据中提取都是很困难的。我们需要一个有自主判断力的机制,并将常识知识引入到神经网络中。

什么是好的翻译?

我们应该如何评估机器翻译系统的水平?目前,最常用的方法是 BLEU score。我们把机器翻译出的内容与人工翻译的内容做对比,分别计算其 BLEU 分数。如果机器翻译结果中的单词和短语与人工的结果相似度很高,那么系统就会得到较高的 BLEU 分数。

BLEU score 是一种简单却有效的翻译评估方法,尤其在评估性能低的系统时。然而研究者发现,BLEU score 也经常与人类的观点不同。这意味着 BLEU 指标只能在若干低性能系统中挑选出最佳的一个,而面对性能更好的系统进行评估时比较吃力。

相比于 BLEU 评估方法,对翻译结果直接进行人工评估的方法更加出色,但也并非没有缺点。关于人工对机器翻译进行评估,存在两个不可忽视的问题:

人工评估不是自动的,所以成本较高且效率低。

人工评估往往会出现分歧。这个问题不仅存在于 BLEU 方法与人类之间,也存在于人类评估者之间。

总地来说,虽然人工评估效果更好,但它需要很高的成本,同时要求尽量不能出错。进一步来说,在将 NMT 系统与人类译者做对比时,要考虑到评估机制的限制因素。

我们仍在继续努力!未来会如何发展?

NMT 正在飞速发展,新的进步与突破也在被频繁报道着。新的研究正致力于解决以上提出的所有问题:可靠性、数据偏差、无意义输出、记忆力、对常识的判断力以及评估标准。

过去几年,NMT 在表现和效率方面都有所突破。这源于新系统不再需要连续处理数据,如按照从左到右或从右到左的顺序,从而使我们可以同时训练更多的数据,最后生成更合理的翻译结果。

同时,我们可以期待会有越来越多关于新研究的报道。哈佛的 OpenNMT -- 一个可用于 LuaTorch、PyTorch 和 Tensorflow 的开源神经机器翻译工具包,正在迅速融入新的方法,以便于大家可以建立最好的翻译系统。由前谷歌研究员开发的新型商业系统 deepL,声称已经超越谷歌的翻译系统。这是一个发展迅速的领域,这也是一个见证 NMT 不断突破的时代。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 谷歌
    +关注

    关注

    27

    文章

    6166

    浏览量

    105339
  • AI
    AI
    +关注

    关注

    87

    文章

    30818

    浏览量

    268969
  • 人工智能
    +关注

    关注

    1791

    文章

    47239

    浏览量

    238353

原文标题:为什么AI的翻译水平还远不能和人类相比?

文章出处:【微信号:rgznai100,微信公众号:rgznai100】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    人类智慧水平AI即将到来,AI芯片已提前布局

    拥有人类智慧水平AI即将出现,但不必恐惧,Altman认为这种AI对世界的影响没有人们想象得那么严重。  
    的头像 发表于 01-22 06:44 2593次阅读

    IMAX携手Camb.AI实现影院实时语言翻译

    近日,据外媒最新报道,国际知名影院品牌IMAX与总部位于迪拜的人工智能初创公司Camb.AI宣布达成战略合作,旨在为全球影院观众带来前所未有的实时语言翻译体验。 此次合作的核心目标是将IMAX的原创
    的头像 发表于 11-26 13:55 385次阅读

    阿里国际发布翻译大模型Marco

    近日,阿里国际正式推出了其翻译大模型——Marco。这款模型已在阿里国际AI官网Aidge上线,并向全球用户开放使用。
    的头像 发表于 10-17 16:07 274次阅读

    AI for Science:人工智能驱动科学创新》第4章-AI与生命科学读后感

    人们对AI for Science的关注推向了高潮。 2. 跨学科融合与科学研究新范式 AI与生命科学的结合,不仅推动了生命科学本身的进步,促进了多个学科之间的交叉融合。这种跨学科的合作模式,打破
    发表于 10-14 09:21

    平衡创新与伦理:AI时代的隐私保护和算法公平

    机制,包括了数据的来源、处理方式以及使用目的的明确披露。这样不仅有助于监管机构进行审查,也让普通用户能够理解AI系统的决策依据,从而减少因“黑箱操作”带来的不信任和误解。例如,在AI辅助医疗诊断中
    发表于 07-16 15:07

    超ChatGPT-4o,国产大模型竟然更懂翻译,8款大模型深度测评|AI 横评

    、速度慢、费用高且难以准确理解上下文”的问题。相比之下,AI大模型凭借其强大的学习能力和适应性,在翻译质量、效率、上下文理解和多语言支持等方面表现出色,提供了更加
    的头像 发表于 07-14 08:04 128次阅读
    超ChatGPT-4o,国产大模型竟然更懂<b class='flag-5'>翻译</b>,8款大模型深度测评|<b class='flag-5'>AI</b> 横评

    长安汽车张晓宇:华为智驾系统有望超越人类驾驶水平

    在近日举办的第十一届国际智能网联汽车威廉希尔官方网站 年会上,长安汽车执行副总裁张晓宇发表了他的看法,他认为华为的智驾系统在未来有着超越人类驾驶水平的巨大潜力。
    的头像 发表于 06-19 09:35 540次阅读

    智谋纪 AI+Multi LED 打开人类健康新宝藏

    威廉希尔官方网站 。 智谋纪创始人&CEO朱东亮先生受邀出席论坛,带来题为《AI+ Multi LED,打开人类健康新宝藏》的专题演讲。 演讲精彩瞬间回顾:AI+ Multi LED,智谋纪AI照明
    的头像 发表于 06-17 12:23 327次阅读
    智谋纪 <b class='flag-5'>AI</b>+Multi LED 打开<b class='flag-5'>人类</b>健康新宝藏

    Netflix CEO:抢你饭碗的不是AI,而是熟练使用AI的人

    在《纽约时报》采访中,萨兰多斯强调道:“我并不相信AI可以超越顶级编剧的水平,也不能预见AI能取代优秀演员的日子,同时也不能想象我们未来无法
    的头像 发表于 05-28 16:03 366次阅读

    Meta AI主管杨立昆:大语言模型尚未到达人类智能水平

    他明确提出,虽然此类模型在特定任务中展现出优越性能,但其内在局限性使其难以媲美人类的智慧,如推理与规划能力等方面的不足。
    的头像 发表于 05-23 17:18 723次阅读

    日本新政企合作计划:AI助力漫画翻译,力图出口量翻两番

    据悉,日本经济产业省旗下的日本创新网络公司(JIC)等十家企业,连同本土出版巨头“小学馆”共同向AI翻译漫画初创公司Orange注资29.2亿日元(约合1.36亿元人民币)。
    的头像 发表于 05-08 16:02 379次阅读

    富士通发布最新的人工智能(AI)战略,聚焦深化人类AI之间的协作

    富士通株式会社(以下简称“富士通”)发布了最新的集团人工智能(AI)战略,聚焦深化人类AI之间的协作,并提出了将AI作为“可信赖的助手”这一愿景,为提升
    的头像 发表于 02-21 17:09 822次阅读
    富士通发布最新的人工智能(<b class='flag-5'>AI</b>)战略,聚焦深化<b class='flag-5'>人类</b>与<b class='flag-5'>AI</b>之间的协作

    奥特曼称相信AI无法替代人类

    奥特曼称相信AI无法替代人类 AI对于人类的威胁一直有很多讨论,各有不同观点,很多人对于科幻电影中的场景AI机器人伤害
    的头像 发表于 01-19 11:43 873次阅读

    OpenAI CEO称人类水平AI即将出现

    OpenAI首席执行官山姆·奥特曼(Sam Altman)近日表示,达到人类水平的人工智能(AI)即将出现,但他认为这种威廉希尔官方网站 对世界的影响可能没有人们想象的那么大。
    的头像 发表于 01-17 14:59 835次阅读

    墨芯人工智能CEO王维:需要重新定义和设计AI计算机

    AI时代,我们需要重新定义和设计AI计算机。仅依靠硅基的摩尔定律,2年翻一倍的线性增长的算力供给不能满足指数级增长的需求问题。
    的头像 发表于 01-12 11:12 1084次阅读