0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看威廉希尔官方网站 视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

OntoED可以基于事件本体实现事件知识的利用和传播

深度学习自然语言处理 来源:浙大KG 作者:浙大KG 2021-06-19 09:44 次阅读

1、总述

事件检测旨在从给定的文本中识别事件触发词,并将其分类为事件类型。目前事件检测的大多数方法在很大程度上依赖于训练实例,而几乎忽略了事件类型之间的相关性。因此,它们往往会面临数据匮乏的问题,并且无法处理新的未见过的事件类型。

为了解决这些问题,我们将事件检测重构成事件本体填充的过程:将事件实例链接到事件本体中的预定义事件类型,并提出一种新颖的借助本体嵌入进行事件检测的框架——OntoED。我们通过建立事件类型之间的联系来丰富事件本体,并进一步推理出更多的事件对之间的关联。

OntoED可以基于事件本体实现事件知识的利用和传播,特别是从高资源传播到低资源的事件类型。此外,OntoED可以通过建立未知事件类型与现有事件的链接,实现对新的未见事件类型的检测。

2、方法

具体来说,OntoED模型分为三阶段:

(1)事件本体填充

在这一阶段,初始的事件本体包含孤立的事件类型和事件实例,这一步就是为了建立起事件类型和事件实例的初始关联,并建立起事件实例之间的联系。

Instance Encoder:我们利用BERT得到事件实例的表示 ;

Class Encoder:每个事件类型由事件原型 表示,初始的事件原型是通过计算事件实例表示的均值得到;

Event Detector:通过计算事件实例表示 和事件原型 之间的向量距离进行事件检测;

Instance Relation Extractor:抽取事件实例之间的关系。我们利用 来建模两个事件实例表示之间的相互作用,并用softmax进行关系分类。

(2)事件本体学习

在事件本体学习阶段,通过事件实例之间的联系建立起事件类型之间的联系,以得到更为丰富的事件本体。

Ontology Completion:主要包含建模事件实例的内部结构(Instance-to-class Linking)以及事件类型之间关联的外部结构(Class-to-class Linking)。

Ontology Embedding:主要包含原型传播和原型更新。在原型传播阶段,每个事件原型会传播到与它邻接的事件原型上,我们用 的矩阵 来表示事件对之间的关系;在原型更新阶段,每个事件原型的表示更新成自身原本的原型表示与邻接原型传播得到表示的加权平均。

传播到每个事件原型的表示:

事件原型更新后的表示:

(3)事件关联推断

在事件关联推断阶段,通过上一阶段得到的事件之间的关联推断出更多事件对之间的联系,比如,(e1, CAUSE, e2) → (e1, BEFORE, e2);(e1, BEFORE, e2) ∧ (e2, BEFORE, e3) → (e1, BEFORE, e3)。

给定grounding ,我们通过计算它的得分来判断事件之间关联推断成立的可能性。

这里我们主要考虑了本体语言OWL2中所定义的关系的对象属性:

并利用线性映射假设对关系矩阵的表示进行约束:

最后通过计算grounding左右两边关系矩阵的表示差异来得到grounding的得分,也就是可以通过grounding右边的事件关联推断出grounding左边新的事件关联的可能性。

3、实验

(1)数据集

为了验证OntoED的效果,我们构造了包含事件之间关系的事件抽取数据集——OntoEvent(数据集链接已给出,详细的数据统计在论文的支撑材料里)。

(2)实验结果

我们分别在全量样本、少样本、零样本的数据上做了实验。实验表明,OntoED比以往的事件检测方法效果更佳,尤其是在低资源的情况下。

编辑:jq

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 数据集
    +关注

    关注

    4

    文章

    1208

    浏览量

    24727

原文标题:ACL2021 | OntoED:利用本体表示学习实现低资源的事件抽取

文章出处:【微信号:zenRRan,微信公众号:深度学习自然语言处理】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    腾讯ima升级知识库功能,上线小程序实现共享与便捷问答

    知识管理体验。 现在,用户可以在ima平台上轻松创建知识库,并设置共享权限,实现多人同时使用和编辑。这一功能的增加,极大地提升了团队协作的效率,使得
    的头像 发表于 12-31 15:32 277次阅读

    驻波与无线电波传播的关联

    相同、频率相同但传播方向相反的波相遇时产生的干涉现象。这种干涉导致某些区域的波振幅增强(波腹),而另一些区域的波振幅减弱或消失(波节)。驻波的形成可以通过数学公式描述,其中涉及到波的叠加原理。 2. 驻波的形成条件
    的头像 发表于 12-30 15:46 129次阅读

    通过微透镜阵列的传播

    随着现代威廉希尔官方网站 的发展,微透镜阵列等专用光学元件越来越受到人们的重视。特别是在光学投影系统、材料加工单元、光学扩散器等领域,微透镜阵列得到了广泛的应用。在VirtualLab Fusion中,可以
    发表于 12-11 11:32

    【每天学点AI】前向传播、损失函数、反向传播

    在深度学习的领域中,前向传播、反向传播和损失函数是构建和训练神经网络模型的三个核心概念。今天,小编将通过一个简单的实例,解释这三个概念,并展示它们的作用。前向传播:神经网络的“思考”过程前向
    的头像 发表于 11-15 10:32 688次阅读
    【每天学点AI】前向<b class='flag-5'>传播</b>、损失函数、反向<b class='flag-5'>传播</b>

    知识分享 | 轻松实现优质建模

    知识分享在知识分享栏目中,我们会定期与读者分享来自MES模赛思的基于模型的软件开发相关Know-How干货,关注公众号,随时掌握基于模型的软件设计的威廉希尔官方网站 知识。轻松实现优质建模前言在基于
    的头像 发表于 09-12 08:08 416次阅读
    <b class='flag-5'>知识</b>分享 | 轻松<b class='flag-5'>实现</b>优质建模

    神经网络反向传播算法的原理、数学推导及实现步骤

    传播算法的原理、数学推导、实现步骤以及在深度学习中的应用。 神经网络概述 神经网络是一种受人脑启发的计算模型,由大量的神经元(或称为节点)组成,每个神经元与其他神经元通过权重连接。神经网络可以分为输入层、隐藏层和输出层。输入层接
    的头像 发表于 07-03 11:16 813次阅读

    反向传播神经网络建模基本原理

    。本文将详细介绍反向传播神经网络的基本原理,包括网络结构、激活函数、损失函数、梯度下降算法、反向传播算法等。 网络结构 BP神经网络由输入层、隐藏层和输出层组成。输入层的节点数与问题的特征维度相同,输出层的节点数与问题的输出维度相同。隐藏层
    的头像 发表于 07-03 11:08 472次阅读

    神经网络前向传播和反向传播区别

    神经网络训练中的作用。 前向传播(Forward Propagation) 前向传播是神经网络中最基本的过程,它将输入数据通过网络层进行逐层计算,最终得到输出结果。前向传播的过程可以
    的头像 发表于 07-02 14:18 852次阅读

    利用Swap模式实现代码回滚操作

    前面介绍了MCUboot的基础知识,您可通过上方链接回顾历史文章,上次介绍了Swap模式,本次着重介绍利用Swap模式实现代码回滚操作。在某些应用场景中,可能新版本的Firmware存在bug而需要返回至上一次的固件。
    的头像 发表于 06-19 15:45 1319次阅读
    <b class='flag-5'>利用</b>Swap模式<b class='flag-5'>实现</b>代码回滚操作

    STD6N95K5本体背面有刮痕,会影响使用吗?

    STD6N95K5请问IC本体背面有刮痕,会影响使用吗
    发表于 03-15 07:05

    频率对地波传播的影响

    地波无线电信号传播非常适合白天在这些频率上进行相对较短距离的传播。由于电离层中的D区引起这些频率上的信号衰减,因此白天不可能进行天波电离层传播
    的头像 发表于 02-09 02:34 1269次阅读
    频率对地波<b class='flag-5'>传播</b>的影响

    电磁波的传播需要考虑哪些因素?

    电磁波的神奇之处,就是它的传播不需要通过介质。只要电场和磁场两者能够交替开,就可以大踏步向前,以光的速度传播
    发表于 01-21 11:10 1317次阅读
    电磁波的<b class='flag-5'>传播</b>需要考虑哪些因素?

    如何测量差分探头的传播延迟呢?

    如何测量差分探头的传播延迟呢? 差分探头的传播延迟指的是信号从输入端到输出端的传输时间。测量差分探头传播延迟的过程可以分为两个主要步骤:校准和测量。 一、校准差分探头 差分探头的传输延
    的头像 发表于 01-17 11:32 967次阅读

    电磁波的传播需要考虑哪些因素?

    在《电磁波是如何传输的?》我们介绍了空间电磁波传播的三种基本方式:地波传播,天波传播和视距传播。随着电磁波频率的升高,视距传播是目前最主要的
    的头像 发表于 01-16 10:02 1881次阅读
    电磁波的<b class='flag-5'>传播</b>需要考虑哪些因素?

    Spring事务传播性的相关知识

    本文主要介绍了Spring事务传播性的相关知识
    的头像 发表于 01-10 09:29 463次阅读
    Spring事务<b class='flag-5'>传播</b>性的相关<b class='flag-5'>知识</b>