0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看威廉希尔官方网站 视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

将对话中的情感分类任务建模为序列标注 并对情感一致性进行建模

深度学习自然语言处理 来源:深度学习自然语言处理 作者:深度学习自然语言 2021-01-18 16:24 次阅读

本文是平安科技发表在ACL2020上的一篇论文,思路比较新颖,它将ERC任务看做序列标注任务,并对情感一致性进行建模。

之前解决ERC的思路是利用上下文的话语特征预测对话中单个话语的情感标签,但是这样做忽略了情感标签之间的固有关系。本在本文中,作者提出了一种将情感分类看作序列标注的模型。对于给定的会话,我们考虑附近的情感标签之间的关系,而不是独立地预测话语的情感标签,并一次性为整个会话选择全局最佳的标签序列。**情感一致性(emotional consistency)**就是指说话者下一句话的情感与这一句话的情感呈现出一致性。

c8be9018-58b2-11eb-8b86-12bb97331649.png

本文的贡献

第一次将ERC任务建模为序列标记,并用CRF建模会话中的情感一致性。CRF层利用上文和下文的情感标签来联合解码整个对话的最佳标签序列。

应用多层Transformer编码器来增强基于LSTM的全局上下文编码器,这是因为在远距离上下文特征抽取方面,Transformer的抽取能力远强于LSTM。

本文在三个对话数据集上做了实验,实验表明对情感一致性和远程上下文依赖关系进行建模可以提高情感分类的性能。

模型

作者提出了Contextualized Emotion Sequence Tagging(CESTa)模型

c9953b7c-58b2-11eb-8b86-12bb97331649.png

话语特征提取(Utterances Features)

对于对话中的第t个话语,其句子表示**ut**由单层CNN提取并馈入全局上下文编码器和个人上下文编码器。

全局上下文编码器(Global Context Encoder)

说话者之间的依赖关系对于对话中的情感动态至关重要,比如当前说话者的情绪可以被对方的话语改变,因此必须考虑上下文信息。全局上下文编码器对所有句子编码,使用的是多层Transformer + BiLSTM,意在捕捉长距离上下文信息。

ca67ecf2-58b2-11eb-8b86-12bb97331649.png

个人上下文编码器(Individual Context Encoder)

个人上下文编码器会跟踪每个说话者的自我依赖关系,从而反映出说话者在谈话过程中对自己的情感影响。在情感惯性的影响下,说话者倾向于保持稳定的情绪状态,直到对方导致变化。

本层采用的是LSTM作为个人上下文编码器,在每个时间步输出所有说话者的状态。

cabe7798-58b2-11eb-8b86-12bb97331649.png

CRF层

全局上下文编码器的输出gt和个人上下文编码器的输出st做一个拼接操作经过全连接层送入CRF层产生最终的预测,并选择选择最大分数的序列作为输出。

cb818b48-58b2-11eb-8b86-12bb97331649.png

实验

作者在三个对话数据集上开展了实验

cc089e6c-58b2-11eb-8b86-12bb97331649.png

与baseline相比,本文的模型在三个数据集上均取得了SOTA结果

ccbc3670-58b2-11eb-8b86-12bb97331649.png

研究Transformer Enhancing在不同长度对话上的表现

作者在IEMOCAP数据集上对比了CESTa模型与去掉Transformer的模型变体做了对比,从下图可以看出,当数据集中话语长度超过54时,两者之间的差距变大,体现出了Transformer在捕捉长距离上下文特征的能力。

cd27f928-58b2-11eb-8b86-12bb97331649.png

情感一致性分析

作者在IEMOCAP数据集上检验了情感一致性,比较了两个模型,一个是带有CRF层的CESTa模型,另一个是使用softmax层而不是CRF进行分类的对比模型,从下图可以看出CESTa模型较好地学习了情感一致性。

cde8a560-58b2-11eb-8b86-12bb97331649.png

责任编辑:xj

原文标题:【ACL2020】CESTa, 将对话中的情感分类任务建模为序列标注任务

文章出处:【微信公众号:深度学习自然语言处理】欢迎添加关注!文章转载请注明出处。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 情感识别
    +关注

    关注

    1

    文章

    10

    浏览量

    7556
  • 深度学习
    +关注

    关注

    73

    文章

    5500

    浏览量

    121117
  • nlp
    nlp
    +关注

    关注

    1

    文章

    488

    浏览量

    22033

原文标题:【ACL2020】CESTa, 将对话中的情感分类任务建模为序列标注任务

文章出处:【微信号:zenRRan,微信公众号:深度学习自然语言处理】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    基于LSTM神经网络的情感分析方法

    情感分析是自然语言处理(NLP)领域的项重要任务,旨在识别和提取文本的主观信息,如情感倾向、情感
    的头像 发表于 11-13 10:15 475次阅读

    一致性测试系统的威廉希尔官方网站 原理和也应用场景

    /IEC-9646,即协议一致性测试的方法和框架。在这框架,IUT(Implementation Under Test,被测实现)是根据规范的具体实现,是个内部不可见的实体;规范
    发表于 11-01 15:35

    异构计算下缓存一致性的重要

    在众多回复,李博杰同学的回答被认为质量最高。他首先将缓存一致性分为两个主要场景:是主机内CPU与设备间的一致性;二是跨主机的一致性
    的头像 发表于 10-24 17:00 509次阅读
    异构计算下缓存<b class='flag-5'>一致性</b>的重要<b class='flag-5'>性</b>

    知识分享 | 轻松实现优质建模

    (MBD)领域,模型的质量对于最终产品的成功至关重要。通过阅读本文,您可了解如何提升模型质量,并在整个开发过程确保模型的一致性和质量。什么是更好的建模?更好的建模
    的头像 发表于 09-12 08:08 392次阅读
    知识分享 | 轻松实现优质<b class='flag-5'>建模</b>

    级联一致性和移相器校准应用手册

    电子发烧友网站提供《级联一致性和移相器校准应用手册.pdf》资料免费下载
    发表于 08-29 10:48 0次下载
    级联<b class='flag-5'>一致性</b>和移相器校准应用手册

    LIN一致性测试规范2.1

    电子发烧友网站提供《LIN一致性测试规范2.1.pdf》资料免费下载
    发表于 08-15 17:14 3次下载

    罗德与施瓦茨引领3GPP关键任务通信服务设备一致性

    罗德与施瓦茨(以下简称“R&S”)全球认证论坛(GCF)成功验证了MCPTT(Misson-critical push-to-talk)协议一致性测试用例,其R&S TS PCT
    的头像 发表于 07-15 14:12 685次阅读

    新品发布 | 同星智能正式推出CAN总线一致性测试系统

    CAN总线一致性测试系统CANFD/CAN总线一致性测试系统,在硬件系统上基于同星自主研发的总线分析工具,干扰仪,一致性测试机箱,搭配程控电源,示波器,数字万用表等标准外围仪器设备;
    的头像 发表于 07-06 08:21 512次阅读
    新品发布 | 同星智能正式推出CAN总线<b class='flag-5'>一致性</b>测试系统

    铜线键合焊接一致性:如何突破威廉希尔官方网站 瓶颈?

    在微电子封装领域,铜线键合威廉希尔官方网站 以其低成本、高效率和良好的电气性能等优势,逐渐成为芯片与基板连接的主流方式。然而,铜线键合过程的焊接一致性问题是制约其进步发展和应用的关键难题。焊接一致性
    的头像 发表于 07-04 10:12 1771次阅读
    铜线键合焊接<b class='flag-5'>一致性</b>:如何突破威廉希尔官方网站
瓶颈?

    为什么主机厂愈来愈重视CAN一致性测试?

    新能源汽车迅猛发展下整车CAN网络架构日益复杂,总线故障等潜在问题时刻影响着运行安全。整车零部件通过CAN一致性测试必将是安全保障的第道门槛。CAN一致性测试,就是要求整车CAN网络
    的头像 发表于 05-29 08:24 1171次阅读
    为什么主机厂愈来愈重视CAN<b class='flag-5'>一致性</b>测试?

     QSFP一致性测试的专业测试设备

    QSFP一致性测试是确保QSFP光模块性能稳定、可靠的关键环节,对于保障通信系统的正常运行具有重要意义。QSFP(Quad Small Form-factor Pluggable)光模块是种高密度
    的头像 发表于 03-14 10:40 587次阅读
     QSFP<b class='flag-5'>一致性</b>测试的专业测试设备

    铜线键合焊接一致性:微电子封装的新挑战

    在微电子封装领域,铜线键合威廉希尔官方网站 以其低成本、高效率和良好的电气性能等优势,逐渐成为芯片与基板连接的主流方式。然而,铜线键合过程的焊接一致性问题是制约其进步发展和应用的关键难题。焊接一致性
    的头像 发表于 03-13 10:10 1304次阅读
    铜线键合焊接<b class='flag-5'>一致性</b>:微电子封装的新挑战

    企业数据备份体系化方法论的七大原则:深入理解数据备份的关键原则:应用一致性与崩溃一致性的区别

    在数字化时代,数据备份成为了企业信息安全的核心环节。但在备份过程,两个关键概念——应用一致性和崩溃一致性,常常被误解或混淆。本文旨在阐明这两个概念的差异,分析它们在数据备份
    的头像 发表于 03-11 14:05 459次阅读
    企业数据备份体系化方法论的七大原则:深入理解数据备份的关键原则:应用<b class='flag-5'>一致性</b>与崩溃<b class='flag-5'>一致性</b>的区别

    深入理解数据备份的关键原则:应用一致性与崩溃一致性的区别

    这两个概念的差异,分析它们在数据备份的重要,以便读者能够更有效地保护企业数据。 1. 概念区分: 应用一致性和崩溃一致性是数据备份
    的头像 发表于 03-11 11:29 900次阅读
    深入理解数据备份的关键原则:应用<b class='flag-5'>一致性</b>与崩溃<b class='flag-5'>一致性</b>的区别

    DDR一致性测试的操作步骤

    DDR一致性测试的操作步骤  DDR(双数据率)一致性测试是对DDR内存模块进行测试以确保其性能和可靠。在进行DDR
    的头像 发表于 02-01 16:24 1508次阅读