0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看威廉希尔官方网站 视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

GAT模型如何来编码依存关系

深度学习自然语言处理 来源:深度学习自然语言处理 作者:深度学习自然语言 2022-10-14 15:51 次阅读

本文贡献有如下两点:

提出了一个面向方面的树结构,通过重塑和修剪普通的依存树来关注目标方面。

提出了一个新的GAT模型来编码依存关系,建立方面和意见词之间的联系。

43c8dc2c-4ade-11ed-a3b6-dac502259ad0.png

餐厅评论中的三个例子来说明 ABSA 中方面aspect、注意力和句法之间的关系。Labeled edges表示依存关系,每个单词下的分数表示由LSTM分配注意力权重。具有高注意力权重的词在「红色框」中突出显示,括号中的词是目标方面target aspect,后面是它们的情感标签

面向方面的树的构建

44075a7e-4ade-11ed-a3b6-dac502259ad0.png

输入:原来的解析结果以及句子和方面。(原文有伪代码)

「第一步」 将目标方面放在根节点

「第二步」 我们将与方面有直接连接的节点设置为子节点,保留原始的依存关系

「第三步」 舍弃了其他的依存关系,取而代之的是一个从aspect到每个对应节点的虚拟关系n:con,其中n表示两个节点之间的距离。

注意 如果句子包含多个方面,我们为每个方面构建一个唯一的树。

根据是前人研究证明只关注在语法上接近目标方面的一小部分上下文词就足够了。好处是每个方面都有自己的依存树,可以减少不相关节点和关系的影响,同时这种统一的树结构不仅使模型专注于方面和情感词之间的联系,而且在训练过程中便于批量操作和并行操作。

R-GAT

为了对上述树进行编码,在GAT的基础上提出了一个新的R-GAT:relation graph attention network

GAT实现的是:

447914d4-4ade-11ed-a3b6-dac502259ad0.png

每个结点只对邻居结点进行注意力计算权重。这个得到的是。注意 表明一共使用了个做转换矩阵,最后将它们得到的结果拼接到一起。

作者认为没有考虑到和相邻接点的依存关系是存在不同的,不可以用同样方法去计算。因此引入了考虑不同的依存关系的R-GAT来补充信息。大致的思想相同,只是对于(1)中的有考虑进新的信息,也就是不同的依存关系。

「R-GAT」

4497e198-4ade-11ed-a3b6-dac502259ad0.png作者将各种依存关系映射到嵌入中,结点i和结点j之间的就是

也就是先将依存关系经过两层线性层,然后对一个结点的所有边的结果归一化,变成对应的系数。

整个网络结构

结构很简单如下:

44a7caae-4ade-11ed-a3b6-dac502259ad0.png

具体来说首先需要把句子的依存分析结果通过变换得到面向方面的数,这个结果将参与后续的图编码。

「第一步」,将句子的词嵌入经过BiLSTM编码得到,利用另一个BiLSTM编码方面词作为根节点嵌入的初始化。

「第二步」,利用GAT和R-GAT分别去处理h,得到和,注意相当于只用处理一个根节点。将得到的结果拼接到一起,再经过一个线性层就是该方面词的表达。

「第三步」,softmax分类得到方面词预测结果。

Loss Function

4504c6f0-4ade-11ed-a3b6-dac502259ad0.png

实验和分析

不同方法在三个数据集上的实验:45fed078-4ade-11ed-a3b6-dac502259ad0.png

多方面分析结果,表明距离较近的方面往往导致准确度得分较低:462fb92c-4ade-11ed-a3b6-dac502259ad0.png

不用Parser的影响:

4654822a-4ade-11ed-a3b6-dac502259ad0.png

消融研究的结果,其中“Ordinary”表示使用普通依存树,“Reshape”表示使用面向方面的树,“*-n:con”表示不使用n:con的面向方面的树:

467ede62-4ade-11ed-a3b6-dac502259ad0.png

R-GAT 和 R-GAT+BERT 对来自Restaurant数据集的 100 个错误分类示例的错误分析结果。原因分为四类,并给出了样本。上表对应 R-GAT 的结果,下表对应 R-GAT+BERT:469dc304-4ade-11ed-a3b6-dac502259ad0.png  

审核编辑:彭静
声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 编码
    +关注

    关注

    6

    文章

    942

    浏览量

    54821
  • 模型
    +关注

    关注

    1

    文章

    3234

    浏览量

    48821
  • GAT
    GAT
    +关注

    关注

    0

    文章

    7

    浏览量

    6341

原文标题:中山大学&阿里巴巴提出:用于基于Aspect的情感分析的关系图注意网络(GAT)

文章出处:【微信号:zenRRan,微信公众号:深度学习自然语言处理】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    依存句法分析器的简单实现

    吧,论坛不让发链接)基本思路统计词语WordA与词语WordB构成依存关系DrC的频次,词语WordA与词性TagB构成依存关系DrD的频次,词性TagA与词语WordB构成依存关系DrE的频次,词性
    发表于 10-17 13:12

    pyhanlp两种依存句法分类器

    /78834838HanLP作者的原文介绍已经写得比较清楚,唯一要注意的是原文章中介绍的依存句法分析器为早期版本,输出的依存关系为英文,现在应该变为中文,而且从测试结果看,训练语料应该已经更新了,但是
    发表于 12-21 11:26

    基于CRF序列标注的中文依存句法分析器的Java实现

    清华大学语义依存网络语料的20000句作为训练集。预处理依存关系事实上由三个特征构成——起点、终点、关系名称。在本CRF模型中暂时忽略掉关系
    发表于 01-16 14:21

    swi的功能号是如何来的?它和LR寄存器的值是何关系

    swi的功能号是如何来的?它和LR寄存器的值是何关系?如《ARM微控制器基础与实战》程序清单 6.13LDREQ R0,[LR,#-4] ;BICEQ R0,R0,0xff000000
    发表于 11-30 14:32

    swi的功能号是如何来的?它和LR寄存器的值是何关系

    swi 的功能号是如何来的 它和 LR 寄存器的值是何关系?如《ARM微控制器基础与实战》程序清单 6.13LDREQ R0,[LR,#-4] ;BICEQ R0,R0,0xff000000
    发表于 03-09 10:59

    GAT 联栅晶体管

    GAT 联栅晶体
    发表于 11-06 17:07 730次阅读

    联栅晶体管(GAT)是什么意思?

    联栅晶体管(GAT)是什么意思?  联栅晶体管是一种新型功率开关半导体器件,简称GATGAT是介于双极型晶体管(BJT)和场效应晶体管(FET)之间的特种器
    发表于 03-05 14:35 2821次阅读

    仪表放大器(INA)偏移电压与增益之间的关系

    你是否曾经想过为什么一个传统3运放(3-op amp)仪表放大器的偏移电压会随着增益的变化而变化?图1摘自INA333数据表。此数据表显示了偏移电压对器件增益依存关系的一个示例。今天,我们来看看是如何确定这个等式的。
    发表于 04-08 01:31 8325次阅读
    仪表放大器(INA)偏移电压与增益之间的<b class='flag-5'>关系</b>

    电力信息-物理相互依存网络脆弱性评估

    受到依存边与网间拓扑互相似性的影响,文章首先基于复杂网络理论,对华中500 kV电力网及其信息网的拓扑结构特性进行对比分析。其次,考虑网间节点的相互依存关系,定量评估了信息网与电力网的拓扑互相似性。通过对华中500
    发表于 02-08 15:28 7次下载
    电力信息-物理相互<b class='flag-5'>依存</b>网络脆弱性评估

    5G能给制造业什么变化

    5G不仅改变了传统意义上的下载速度,也改变了设备之间的依存关系和连接模式,可以实现去中心化和网格化,开启“万物互联”时代。
    的头像 发表于 08-13 15:00 3006次阅读

    列表解释关系模型

    关系模型(Relational model)由 E.F.Codd 博士于 1970 年提出,以集合论中的关系概念为基础;无论是现实世界中的实体对象还是它们之间的联系都使用关系表示。我们
    的头像 发表于 09-24 15:04 2077次阅读
    列表解释<b class='flag-5'>关系</b><b class='flag-5'>模型</b>

    一种端到端的序列多任务法律判决预测模型

    ,并未考虑各子任务之间的序列依存关系,因此预测性能难以得到进一步的提升。文中提出了一个端到端的基于过程监督的序列多任务法律判决预测模型,在建模各子任务之间的依存关系时,通过引入过程监督来确保依赖信息的准确性,
    发表于 04-08 14:31 14次下载
    一种端到端的序列多任务法律判决预测<b class='flag-5'>模型</b>

    基于词嵌入与神经网络的文本匹配模型

    为增强文本匹配模型的文本语义捕捉能力并提高语义匹配准确度,提出一种基于词嵌人与依存关系的文本匹配模型。构建融合词语义和词间依存关系的语义表示,通过余弦均值卷积和K-Maκ池化操作获得描
    发表于 06-09 16:28 14次下载

    MCR(主站控制继电器)依存

    只有在将中间输出线圈置于激活的MCR区内时,才会激活MCR依存关系。在激活的MCR区内,如果MCR处于接通状态并且中间输出线圈有能流通过,将把寻址位设置为能流的当前状态。如果MCR处于断开状态,则无论能流状态如何,都会将逻辑"0"写入指定地址。
    的头像 发表于 06-21 10:52 1915次阅读

    覆铜板和pcb板的区别在哪?

    覆铜板全名覆铜箔层压板,简称为CCL,是PCB制造的上游核心材料,与PCB具有较强的相互依存关系
    发表于 01-17 14:22 7513次阅读