0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看威廉希尔官方网站 视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

Fudan DISC实验室将分享三篇关于知识图谱嵌入模型的论文

深度学习自然语言处理 来源:复旦DISC 作者:复旦DISC 2021-04-15 14:14 次阅读

引言

知识图谱嵌入 knowledge graph embedding是将包含实体和关系的知识图谱三元组嵌入到高维向量空间中,获得实体和关系的数值表示,提取图中相关信息,并进行后续运算推断。常用于知识图谱补全 (KG completion),关系提取 (relation extraction),实体分类 (entity classification),实体决议 (entity resolution)等等。

本次Fudan DISC实验室将分享三篇关于知识图谱嵌入模型的论文,分别介绍其训练策略、概率校准、模型设计三个方面取得的进展。

文章概览

知识图谱嵌入模型的训练策略(You CAN Teach an Old Dog New Tricks! On Training Knowledge Graph Embeddings)

论文地址:https://openreview.net/pdf?id=BkxSmlBFvr

该篇文章在两个常见数据集上对比了五种知识图谱嵌入 (Knowledge Graph Embedding) 方法在同样的训练框架和参数设置下的性能,总结并评测了不同模型架构和不同训练策略对模型的影响,正如文章标题所说“你可以教给老狗新的技巧”,训练策略对模型的性能有重大影响,并且可能占最近几年进展的很大一部分。

知识图谱嵌入模型的概率校准(Probability Calibration for Knowledge Graph Embedding Models)

论文地址:https://openreview.net/pdf?id=S1g8K1BFwS

该篇文章将概率校准的两种方法运用到知识图谱嵌入模型中,解决了当前知识图谱嵌入模型对于实体推断的打分不是概率的问题。

使用盒嵌入在知识图谱上推断(Query2box: Reasoning over Knowledge Graphs in Vector Space Using Box Embeddings)

论文地址:https://openreview.net/pdf?id=BJgr4kSFDS

该篇文章将盒嵌入引入知识图谱推断中,将原有的基于点嵌入的模型升级为基于高维矩形嵌入的模型,解决推断过程中“一推多”、合取、析取的问题。

论文细节

1

69b4f548-9cd8-11eb-8b86-12bb97331649.png

论文动机

目前有很多知识图谱嵌入模型,是近期的热点;

这些模型缺少统一的训练策略消融对比;

通常没有考虑最先进的基线。

以此带来的问题是难以评估模型和训练的贡献。因此文章将热门的5个模型在2个广泛使用的数据集上控制训练策略进行实验对比。

69c664c2-9cd8-11eb-8b86-12bb97331649.png

方法

本文使用上表中的5个模型对比了如下的训练参数设置,篇幅有限不做过多介绍。

69d7a3f4-9cd8-11eb-8b86-12bb97331649.png

实验结果

69f38768-9cd8-11eb-8b86-12bb97331649.png

结果表明通过好的训练策略,热门模型都比他们论文刚发表时发布的性能有所提升,甚至有些模型可以超过后来提出的模型,如RESCAL;同时,文中也对比了重新实现的模型与更新的模型性能,发现最新的模型并没有比之前的模型在训练策略调优后的效果上有明显提升。

6a22c6e0-9cd8-11eb-8b86-12bb97331649.png

同时,每个模型在不同训练策略下的方差都比较大,并没有完全特别好的模型。

6a36ff5c-9cd8-11eb-8b86-12bb97331649.png

此外,文章还对比了不同参数的作用,以及训练的过程。

6a4ea314-9cd8-11eb-8b86-12bb97331649.png

6a6d271c-9cd8-11eb-8b86-12bb97331649.png

2

6a8323b4-9cd8-11eb-8b86-12bb97331649.png

论文动机

知识图谱嵌入研究忽略了概率标定问题。

流行的知识图谱嵌入模型没有校准。

知识图谱嵌入得到分数的概率都是不可靠的。

因此,本文提出了一种知识图嵌入模型的标定方法,使用Platt标度和等渗回归,对概率进行了校准。

6a99db18-9cd8-11eb-8b86-12bb97331649.png

方法

论文主要的研究对象是基于知识图谱嵌入的评分,使用Platt标度和等渗回归,对评分概率进行了校准。

6ad23cf6-9cd8-11eb-8b86-12bb97331649.png

实验结果

6aeca172-9cd8-11eb-8b86-12bb97331649.png

6b0c182c-9cd8-11eb-8b86-12bb97331649.png

6b206d4a-9cd8-11eb-8b86-12bb97331649.png

6b4b2008-9cd8-11eb-8b86-12bb97331649.png

6b9b7ac6-9cd8-11eb-8b86-12bb97331649.png

实验结果表明,Platt标度和等渗回归的校准效果良好。

3

6bcbf76e-9cd8-11eb-8b86-12bb97331649.png

论文动机

在知识图谱的链接预测(link prediction)中,存在多步推理的情况,以及有的时候推理并不是一一对应,而是存在同样满足条件的多个实体集合的情况。当前的研究主要关注于单步的点推理,也没有考虑推理中集合的操作。因此,本文提出将盒嵌入模型用于回答知识图谱的推理问题,从而解决推理中多步集合推理的问题。

6be6fd02-9cd8-11eb-8b86-12bb97331649.png

方法

文中定义了盒嵌入向量的构造和投影合取的操作,以及距离的计算方式。

6c85eaca-9cd8-11eb-8b86-12bb97331649.png

此外,文中还证明了任何一个命题都可以转化为标准形式。

6fc455f0-9cd8-11eb-8b86-12bb97331649.png

实验结果

6fe1678a-9cd8-11eb-8b86-12bb97331649.png

7001be90-9cd8-11eb-8b86-12bb97331649.png

703906ac-9cd8-11eb-8b86-12bb97331649.png

实验结果表明盒嵌入模型相比于点嵌入模型拥有更好的推理效果。

总结

此次 Fudan DISC 解读的三篇论文围绕知识图谱嵌入模型展开,训练策略对于嵌入模型的训练影响很大,由知识图谱嵌入模型得到的打分可以通过概率校准的手段使其变成概率,盒嵌入模型的引入解决了复杂集合推断的问题。

责任编辑:lq

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 模型
    +关注

    关注

    1

    文章

    3237

    浏览量

    48824
  • 数据集
    +关注

    关注

    4

    文章

    1208

    浏览量

    24694
  • 知识图谱
    +关注

    关注

    2

    文章

    132

    浏览量

    7704

原文标题:知识图谱嵌入的一点小事 - ICLR2021

文章出处:【微信号:zenRRan,微信公众号:深度学习自然语言处理】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    LIMS系统在芯片实验室中的应用

    在高速发展的芯片行业中,芯片实验室作为威廉希尔官方网站 创新和产品验证的核心部门,面临着诸多挑战与问题。这些问题不仅影响了实验室的工作效率,还可能对芯片产品的质量和研发周期产生不利影响。幸运的是,LIMS系统
    的头像 发表于 11-07 17:59 284次阅读

    星自主研发知识图谱威廉希尔官方网站 ,强化Galaxy AI用户体验与数据安全

    据外媒11月7日报道,星电子全球AI中心总监Kim Dae-hyun近日透露,公司正致力于自主研发知识图谱威廉希尔官方网站 ,旨在进一步优化Galaxy AI的功能,提升其易用性,并加强用户数据的隐私保护。
    的头像 发表于 11-07 15:19 606次阅读

    LIMS实验室管理平台的实施步骤

    实验室信息管理系统(LIMS)是现代实验室管理的核心,它通过集成各种实验室操作流程,提高实验室的工作效率和数据管理能力。实施LIMS系统是一个系统化的过程,需要精心规划和执行。以下是实
    的头像 发表于 10-29 09:10 371次阅读

    荣耀与智谱携手共建AI大模型联合实验室

    近日,荣耀终端有限公司与北京智谱华章科技有限公司正式携手,共同宣布成立AI大模型威廉希尔官方网站 联合实验室,并签署了战略合作协议。此次合作标志着双方在人工智能领域的深度合作迈入新阶段,共同致力于为用户带来前所未有的智能体验。
    的头像 发表于 09-03 18:15 1021次阅读

    星电子收购英国知识图谱威廉希尔官方网站 初创企业

    在人工智能威廉希尔官方网站 日新月异的今天,星电子公司再次展现了其前瞻性的战略布局与威廉希尔官方网站 创新实力。近日,星正式宣布完成了对英国领先的人工智能(AI)与知识图谱威廉希尔官方网站 初创企业Oxford Semantic Technologies的收购,此举
    的头像 发表于 07-18 14:46 519次阅读

    知识图谱与大模型之间的关系

    在人工智能的广阔领域中,知识图谱与大模型是两个至关重要的概念,它们各自拥有独特的优势和应用场景,同时又相互补充,共同推动着人工智能威廉希尔官方网站 的发展。本文将从定义、特点、应用及相互关系等方面深入探讨知识图谱与大
    的头像 发表于 07-10 11:39 1037次阅读

    DEKRA德凯为Hisense海信实验室授予CTF实验室资质

    近日,全球领先的检验检测认证机构DEKRA德凯为海信家电集团洗护威廉希尔官方网站 测试研究中心(以下简称:Hisense海信)实验室授予CTF实验室资质。
    的头像 发表于 04-10 14:52 530次阅读

    星成立半导体AGI计算实验室

    星电子近日迎来重要战略部署,其半导体业务CEO庆桂显正式宣布,公司将在美国和韩国设立全新的半导体AGI计算实验室,并已启动相关招聘工作。此次实验室的成立,标志着星在人工智能领域迈出
    的头像 发表于 03-22 11:10 680次阅读

    要让量子计算走出实验室

    /4GqWiPmsN9I今年1月6日,我国第代自主超导量子计算机“本源悟空”上线运行并向全球公众限时免费开放,这标志着我国超导量子计算机产业链基本成链。中国科学院量子信息重点实验室
    的头像 发表于 03-06 08:21 328次阅读
    要让量子计算走出<b class='flag-5'>实验室</b>

    利用知识图谱与Llama-Index威廉希尔官方网站 构建大模型驱动的RAG系统(下)

    对于语言模型(LLM)幻觉,知识图谱被证明优于向量数据库。知识图谱提供更准确、多样化、有趣、逻辑和一致的信息,减少了LLM中出现幻觉的可能性。
    的头像 发表于 02-22 14:13 1208次阅读
    利用<b class='flag-5'>知识图谱</b>与Llama-Index威廉希尔官方网站
构建大<b class='flag-5'>模型</b>驱动的RAG系统(下)

    上海AI实验室发布新一代书生·视觉大模型

    近日,上海人工智能实验室(上海AI实验室)联手多所知名高校及科技公司共同研发出新一代书生·视觉大模型(InternVL)。
    的头像 发表于 02-04 11:25 1106次阅读

    星在硅谷建立3D DRAM研发实验室

    星电子,全球领先的存储芯片制造商,近日宣布在美国设立新的研究实验室,专注于开发新一代3D DRAM威廉希尔官方网站 。这个实验室隶属于总部位于美国硅谷的Device Solutions Amer
    的头像 发表于 01-30 10:48 734次阅读

    星计划在硅谷开设实验室

    星电子近日宣布,在美国硅谷设立了一个新的研究实验室,隶属于Device Solutions America (DSA),旨在开发新一代3D DRAM。
    的头像 发表于 01-29 16:53 800次阅读

    实验室设备定位管理系统

    实验室设备定位管理系统是一种用于实验室设备管理和定位的系统。它利用物联网威廉希尔官方网站 和定位威廉希尔官方网站 ,帮助实验室管理人员实时了解实验室内设备的位置和状态,提高设备的利用率和管理效率。 该系统使用传感
    的头像 发表于 01-10 16:13 835次阅读

    知识图谱基础知识应用和学术前沿趋势

    知识图谱(Knowledge Graph)以结构化的形式描述客观世界中概念、实体及其关系。是融合了认知计算、知识表示与推理、信息检索与抽取、自然语言处理、Web威廉希尔官方网站 、机器学习与大数据挖掘等等方向的交叉学科。人工智能是以传统符号派与目前流行的深度神经网路为主,如下图所示,
    的头像 发表于 01-08 10:57 947次阅读
    <b class='flag-5'>知识图谱</b>基础<b class='flag-5'>知识</b>应用和学术前沿趋势