0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看威廉希尔官方网站 视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

知识图谱嵌入模型 (KGE) 的总结和比较

冬至子 来源:Shreyash Pandey 作者:Shreyash Pandey 2023-07-31 16:07 次阅读

知识图谱嵌入(KGE)是一种利用监督学习来学习嵌入以及节点和边的向量表示的模型。它们将“知识”投射到一个连续的低维空间,这些低维空间向量一般只有几百个维度(用来表示知识存储的内存效率)。向量空间中,每个点代表一个概念,每个点在空间中的位置具有语义意义,类似于词嵌入。

一个好的KGE 应该具有足够的表现力来捕获 KG 属性,这些属性解决了表示关系的独特逻辑模式的能力。并且KG 可以根据要求添加或删除一些特定属性。KGE算法可分为两类:

  • 翻译距离模型 (translation distance models),如TransE、TransH、TransR、TransD等。
  • 语义匹配模型 (semantic matching models),如DistMult。

以下是常见的KGE 模型在捕获关系类型方面的比较,我们将对这些常见的模型进行比较

翻译距离模型

TransE

提出了一种基于翻译的知识图谱嵌入模型,可以捕获多关系图中的翻译方差不变性现象。知识图谱中的事实是用三元组 ( h , l , t ) 表示的,transE算法的思想非常简单,它受word2vec平移不变性的启发,希望h + l ≈ t h+l≈th+l≈t。

这里的l1/l2是范数约束。

TransE的伪代码如下:

TransE多次在大规模知识图谱方面表现出良好的性能。但是它不能有效地捕获复杂的关系,如一对多和多对多。

TransH

TransH根据关系为每个实体提供不同的表示向量。TransH的工作原理是为每个关系发布一个完全独立的特定于关系的超平面,这样与它关联的实体仅在该关系的上下文中具有不同的语义。TransH将实体嵌入向量h和t投影到映射向量Wᵣ方向的超平面(关系特定)。

其中Dᵣ表示关系特定的平移向量,h和t的计算方法如下:

TransH 在一定程度上解决了复杂关系问题。它采用相同的向量特征空间。

TransR

TransR的理念与TransH非常相似。但它引入了特定于关系的空间,而不是超平面。实体表示为实体空间Rᵈ中的向量,每个关系都与特定空间Rᵏ相关联,并建模为该空间中的平移向量。给定一个事实,TransR首先将实体表示h和t投影到关系r特定的空间中:

这里Mᵣ是一个从实体空间到r的关系空间的投影矩阵,评分函数定义为

它能够对复杂的关系建模。但是每个关系需要O(dk)个参数。没有TransE/TransH的简单性和效率。

TransD

TransD是TransR的改进。它采用映射矩阵,为头部和尾部实体生成两个独立的映射矩阵。它使用两个嵌入向量来表示每个实体和关系。第一个嵌入向量表示实体和关系的语义,第二个嵌入向量生成两个动态投影矩阵,如下图所示。

评分函数如下:

下表是总结所有翻译距离模型的对比

语义匹配模型

RESCAL

RESCAL将每个实体与一个向量相关联,捕获其潜在语义。每个关系都表示为一个矩阵,它interwetten与威廉的赔率体系 了潜在因素之间的成对相互作用。事实(h,r,t)的分数由双线性函数定义。

其中h,t∈Rᵈ是实体的向量表示,Mᵣ∈Rᵈ*ᵈ是与该关系相关的矩阵。这个分数捕获了h和t的所有分量之间的成对相互作用,每个关系需要O(d²)个参数,并进一步假设所有 Mᵣ 在一组通用的 rank-1 指标上分解。

它最大的问题是计算复杂且成本高。

TATEC

TATEC模型不仅有三种相互关系,它还包含双向交互,例如实体和关系之间的交互。评分函数为

其中D是所有不同关系共享的对角矩阵。

DistMult

通过将Mᵣ限制为对角矩阵,DistMult简化了RESCAL。对于每个关系r,引入一个向量r∈rᵈ,并要求Mᵣ= diag(r),评分函数如下:

DistMult优点就是计算简单,成本低。但是因为模型过于简化,只能处理对称关系。对于一般kg来说,它不够强大。

Holographic Embeddings(HolE)

HolE结合了RESCAL的表达能力和DistMult的效率和简单性。它将实体和关系重新表示为Rᵈ中的向量。给定一个事实(h,r,t),通过使用循环相关操作,首先将实体表示组合成h*t∈rᵈ:

采用*的主要目的是利用压缩张量积形式的复合表示的降低复杂性。HolE利用了快速傅里叶变换,可以通过以下方式进一步加速计算过程:

HolE每个关系只需要O(d)个参数,这比RESCAL更有效。但是HolE不能对不对的称关系建模,但在一些研究论文中,把它与扩展形式HolEX混淆了,HolEX能够处理不对称关系。

Complex Embeddings (ComplEx)

Complex通过引入复值嵌入来扩展DistMult,以便更好地建模非对称关系。在ComplEx中,实体和关系嵌入h,r,t不再位于实空间中,而是位于复空间中,例如Cᵈ。

这个评分函数不再对称,来自非对称关系的事实可以根据所涉及实体的顺序获得不同的分数。作为共轭对称施加于嵌入的特殊情况,HolE可以被包含在ComplEx中。

ANALOGY

ANALOGY 扩展了RESCAL,可以进一步对实体和关系的类推属性建模。它采用了双线性评分函数。

DistMult, HolE和ComplEx都可以作为特殊情况在ANALOGY上实现。

以下是语义匹配模型的对比总结:

Deep Scoring Functions

对于深度学习进步,还出现了基于深度学习的评分函数

ConvE

ConvE是第一个使用卷积神经网络(CNN)来预测知识图谱中缺失环节的模型之一。与完全连接的密集层不同,cnn可以通过使用很少的参数学习来帮助捕获复杂的非线性关系。ConvE在多个维度上实现了不同实体之间的本地连接。

concat为连接运算符,*表示卷积,eₛ和eᵣ分别负责主题单元和关系单元的二维重塑。

ConvE不能捕获三元嵌入的全局关系

ConvKB

ConbKB使用1D卷积来保留TransE的解释属性,捕获实体之间的全局关系和时间属性。该方法将每个三元网络嵌入为三段网络,并将其馈送到卷积层,实现事实的维类之间的全局连接。

其中Ω(过滤器集),e(权重向量)表示共享参数。

HypER

HypER将每个关系的向量嵌入通过密集层投影后完全重塑,然后调整每层中的一堆卷积通道权重向量关系,这样可以有更高的表达范围和更少的参数。

vec是将一个向量重新塑造为一个矩阵,非线性f是ReLU。

模型的空间复杂度和时间复杂度的比较

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 嵌入式系统
    +关注

    关注

    41

    文章

    3589

    浏览量

    129456
  • 向量机
    +关注

    关注

    0

    文章

    166

    浏览量

    20875
  • 卷积神经网络

    关注

    4

    文章

    367

    浏览量

    11863
收藏 人收藏

    评论

    相关推荐

    知识图谱相关应用

    智慧风控的背后,是知识图谱的深度应用
    发表于 08-22 14:40

    KGB知识图谱基于传统知识工程的突破分析

    知识图谱本质上是一种大规模的语义网络。从2012年谷歌提出知识图谱知识图谱一直在快速发展,其应用也不再局限于“语义网络”范畴。现如今的知识图谱在实际应用中,主要作为大数据时代的
    发表于 10-22 15:25

    KGB知识图谱威廉希尔官方网站 能够解决哪些行业痛点?

    的人力解决问题,这样企业使用自动化设备进行知识获取的方式也不能满足其降低人力消耗的需求。在知识应用层面,知识图谱应用于william hill官网 中,针对其行业数据,即使应对数据量比较集中的情况,其
    发表于 10-30 15:34

    知识图谱的三种特性评析

    的三个重要方面包括目标的动态性。比如根据已有的知识图谱模型,能否一个在人工不干预的情况下,自动识别出同类事物;当一名影星再婚之后,是否可以在人工不干预的情况下,自动识别他的新配偶。(2) 目标的多样化
    发表于 12-13 13:57

    KGB知识图谱通过智能搜索提升金融行业分析能力

    的自然语言处理威廉希尔官方网站 ,搭建专业领域深度知识图谱,快速学习并迭代金融行业最新知识,构建一二级市场众多实体模型,智能化的理解用户的搜索请求,使得搜索更简单更准确,满足用户找数据、找报告的需求。KGB
    发表于 06-22 21:23

    一种融合知识图谱和协同过滤的混合推荐模型

    RCKC构成。RCKD模型在获取知识图谱的推理路径后,利用 Transe算法将路径嵌入为向量,并使用LSTM和soft attention机制捕获路径推理的语义,通过池化操作区分不同路径推理的重要性,经全连接层和 sigmoid
    发表于 03-16 14:37 10次下载
    一种融合<b class='flag-5'>知识图谱</b>和协同过滤的混合推荐<b class='flag-5'>模型</b>

    知识图谱划分的相关算法及研究

    知识图谱是人工智能的重要基石,因其包含丰富的图结构和属性信息而受到广泛关注。知识图谱可以精确语义描述现实世界中的各种实体及其联系,其中顶点表示实体,边表示实体间的联系。知识图谱划分是大规模知识
    发表于 03-18 10:10 9次下载
    <b class='flag-5'>知识图谱</b>划分的相关算法及研究

    知识图谱与训练模型相结合和命名实体识别的研究工作

    本次将分享ICLR2021中的三篇投递文章,涉及知识图谱与训练模型相结合和命名实体识别(NER)的研究工作。 文章概览 知识图谱和语言理解的联合预训练(JAKET: Joint
    的头像 发表于 03-29 17:06 4335次阅读
    <b class='flag-5'>知识图谱</b>与训练<b class='flag-5'>模型</b>相结合和命名实体识别的研究工作

    Fudan DISC实验室将分享三篇关于知识图谱嵌入模型的论文

    知识图谱嵌入 knowledge graph embedding是将包含实体和关系的知识图谱三元组嵌入到高维向量空间中,获得实体和关系的数值表示,提取图中相关信息,并进行后续运算推断
    的头像 发表于 04-15 14:14 2859次阅读
    Fudan DISC实验室将分享三篇关于<b class='flag-5'>知识图谱</b><b class='flag-5'>嵌入</b><b class='flag-5'>模型</b>的论文

    规则引导的知识图谱联合嵌入方法

    的向量空间中.且所学习到的嵌入表示已被成功用于缓解大规模知识图谱的计算效率低下问题.然而,大多数现有嵌入学习模型仅考虑知识图谱的结构信息.
    发表于 12-28 10:42 741次阅读

    知识图谱嵌入的Translate模型汇总(TransE,TransH,TransR,TransD)

    作者:Xu LIANG编译:ronghuaiyang 首发:AI公园公众号导读一文打尽图嵌入Translate模型,各种模型的动机,优缺点分析。本文对知识图谱...
    发表于 01-26 19:54 6次下载
    <b class='flag-5'>知识图谱</b><b class='flag-5'>嵌入</b>的Translate<b class='flag-5'>模型</b>汇总(TransE,TransH,TransR,TransD)

    知识图谱Knowledge Graph构建与应用

    一、知识图谱概论         1.1知识图谱的起源和历史 1.2知识图谱的发展史——从框架、本体论、语义网、链接数据到知识图谱 1.3知识图谱
    发表于 09-17 10:12 651次阅读

    知识图谱知识图谱的典型应用

    作者: cooldream2009  我们构建知识图谱的目的,在于利用知识图谱来做一些事情。有效利用知识图谱,就是要考虑知识图谱的具备的能力,知识图
    的头像 发表于 10-18 09:26 1971次阅读
    <b class='flag-5'>知识图谱</b>:<b class='flag-5'>知识图谱</b>的典型应用

    知识图谱与大模型结合方法概述

    本文作者 |  黄巍 《Unifying Large Language Models and Knowledge Graphs: A Roadmap》总结了大语言模型知识图谱融合的三种路线:1
    的头像 发表于 10-29 15:50 967次阅读
    <b class='flag-5'>知识图谱</b>与大<b class='flag-5'>模型</b>结合方法概述

    知识图谱与大模型之间的关系

    在人工智能的广阔领域中,知识图谱与大模型是两个至关重要的概念,它们各自拥有独特的优势和应用场景,同时又相互补充,共同推动着人工智能威廉希尔官方网站 的发展。本文将从定义、特点、应用及相互关系等方面深入探讨知识图谱与大
    的头像 发表于 07-10 11:39 1030次阅读