0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看威廉希尔官方网站 视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

清华大学发布首个开源自动图学工具包

如意 来源:机器之心 作者:机器之心 2020-12-22 16:32 次阅读

如何应用自动机器学习 (AutoML) 加速图机器学习任务的处理?清华大学发布全球首个开源自动图学习工具包:AutoGL (Auto Graph Learning),支持在图数据上全自动进行机器学习。

人工智能的蓬勃发展离不开数据、算力、算法这三大要素。而在浩瀚的数据中,有一种数据结构既普遍又复杂,它就是图(graph)。

图是一种用于描述事物之间关系的结构,其基本构成元素为节点和连接节点的边。

很多不同领域的研究问题都可以很自然地建模成图机器学习,例如蛋白质建模、物理系统interwetten与威廉的赔率体系 、组合优化等基础研究;社交媒体分析、推荐系统、虚假新闻检测等互联网应用;以及金融风控、知识表征、交通流量预测、新药发现等。

图结构丰富且具有与生俱来的导向能力,因此非常适合机器学习模型。同时,它又无比复杂,难以进行大规模扩展应用。而且不同的图数据在结构、内容和任务上千差万别,所需要的图机器学习模型也可能相差甚远,这就导致不同任务的模型自动化面临巨大挑战。如何设计最优的图自动机器学习模型,是一个尚未解决的难题。

图 + AutoML = ?

自动机器学习 (AutoML) 旨在将机器学习的过程自动化,在降低机器学习使用门槛的同时,提升机器学习的效果。但现有的自动机器学习工具,无法考虑图数据的特殊性,因此无法应用在图机器学习模型中。

为了解决该问题,清华大学朱文武教授带领的网络与媒体实验室发布了全球首个开源自动图学习工具包:AutoGL (Auto Graph Learning)。该工具支持在图数据上全自动进行机器学习,并且支持图机器学习中最常见的两个任务:节点分类任务(node classification)与图分类任务(graph classification)。

AutoGL 流程图。

AutoGL 工具包首先使用 AutoGL Dataset 维护图机器学习任务所需数据集。AutoGL Dataset 导入了大规模图表示学习工具包 CogDL 和图神经网络库 PyTorch Geometric (PyG) 中的数据集模块,并添加对 OGB 数据集的支持,同时还添加了一些支持以便集成 auto solver 框架。

不同的图机器学习任务可以通过不同的 AutoGL Solver 得到解决。AutoGL Solver 使用四个主要模块自动化解决给定任务,分别是特征工程(Feature Engineering)、图学习模型(Graph Learning Model)、超参数优化(HPO),以及模型自动集成(Auto Ensemble)。每个部分在设计时都引入了对图数据特殊性的考虑。

模块 1:特征工程

AutoGL 特征工程模块包含了图机器学习过程中常用的特征工程方法,包括节点 / 边 / 子图特征提取、变换和筛选,如节点度数、节点 ID、特征向量等。这些方法显著丰富了目标图数据上的信息,提高了图学习的效果。同时,用户还可以非常方便地扩展特征工程模块,以实现个性化的需求。

模块 2:图学习模型

AutoGL 目前支持 GCN、GAT、GIN 等常见图学习模型,可以完成包括点分类、图分类在内的多种常见任务,使用方式简单,上手方便。同时,AutoGL 主页还提供了详细的说明文档,支持用户自定义模型,可扩展性良好。

模块 3:超参数优化

AutoGL 目前集成了多种通用超参数优化方法, 如网格搜索、随机搜索、贝叶斯优化、模拟退火、TPE 等算法,同时还包含专门针对图学习优化的自动机器学习算法 AutoNE。该模块省去了图学习中繁杂的手动调参过程,极大地提高了工程效率。同时,该模块易于使用,用户只需给出各个超参数的类型和搜索空间、指定超参数优化方法,即可快速上手运行若干自动图学习模型。

AutoGL 会在给定的资源预算(时间、搜索次数等)内给出最优的超参数组合。该模块同样支持扩展,用户可以自定义新的超参数优化算法。

模块 4:模型自动集成

自动集成模块目前支持两类常用的集成学习方法:voting 和 stacking。该模块通过组合多个基模型得到一个博采众长的集成模型,从而进一步提升图学习的效果。

AutoGL 工具包目前支持多种算法,如下表所示:

清华大学发布首个开源自动图学工具包

AutoGL 工具包四个不同模块所支持的算法。

AutoGL 工具包极大地方便了开发人员进行对应的图学习算法设计和调优。用户只需按照 AutoGL 的数据集标准提供目标数据集,AutoGL 就会自动寻找最优的模型和对应的超参数,从而简化图学习算法开发与应用的流程,极大提升图学习相关的科研和应用效率。

此外,AutoGL 工具包还提供了一个供使用者公平地测试与对比算法的平台。AutoGL 在设计时遵循模块化思想,每个模块均可扩展,用户只需实现对应模块类的接口,即可方便地测试自己的算法,为快速获得 baseline 效果、公平对比不同模型性能提供方便。

未来展望

据 AutoGL 研发团队透露,他们将进一步深入研发,以方便其他研究者、业界使用者和初学者快速上手 AutoGL,解决学术界、产业界遇到的图学习相关问题。

AutoGL 网站显示,该工具包将在近期支持以下功能:

神经架构搜索;

大规模图数据集支持;

更多图任务(如链接预测、异构图任务、时空任务);

Graph Boosting & Bagging;

对更多图模型库提供后端支持(如 DGL)。

AutoGL 研发团队期待得到各类使用反馈,以更好地完善 AutoGL 的各项功能。「我们的最终目的是推动自动图机器学习在学术界与工业界的深层次探索和应用。」AutoGL 研发者谈及之后的计划时表示。

相关链接

AutoGL 网站地址:http://mn.cs.tsinghua.edu.cn/autogl/

AutoGL 代码链接:https://github.com/THUMNLab/AutoGL

AutoGL 说明文档:https://autogl.readthedocs.io/en/latest/index.html

深度学习模型综述:https://arxiv.org/abs/1812.04202
责编AJX

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • AI
    AI
    +关注

    关注

    87

    文章

    30830

    浏览量

    268992
  • 机器学习
    +关注

    关注

    66

    文章

    8414

    浏览量

    132607
  • 工具包
    +关注

    关注

    0

    文章

    46

    浏览量

    9532
收藏 人收藏

    评论

    相关推荐

    最新Simplicity SDK软件开发工具包发布

    最新的SimplicitySDK软件开发工具包已经发布!此次更新针对SiliconLabs(芯科科技)第二代无线开发平台带来了包括蓝牙6.0的信道探测(Channel Sounding
    的头像 发表于 12-24 09:47 88次阅读

    清华大学师生到访智行者科技交流学习

    近日,清华大学 “威廉希尔官方网站 创新原理与实践” 研究生课程师生一行到访智行者进行交流学习。作为课程实践环节的重要一站,此次来访开启了一场深度的参观学习之旅。智行者董事长&CEO张德兆先生作为清华校友同时也是威廉希尔官方网站 创业者,与到访师生进行了面对面的深入交流,共同探讨创业过程中的关键问题
    的头像 发表于 12-23 11:39 185次阅读

    清华大学创新领军工程博士团队调研芯和半导体

    近日,清华大学2024级创新领军工程博士团队到今年国家科技进步一等奖获得企业——芯和半导体上海总部参观调研。
    的头像 发表于 12-04 17:15 414次阅读

    博世与清华大学续签人工智能研究合作协议

    近日,博世与清华大学宣布,双方续签人工智能领域的研究合作协议,为期五年。在此期间,博世将投入5000万元人民币。基于2020年成立的清华大学—博世机器学习联合研究中心(以下简称“联合研究中心”),博世和清华大学将进一步深化合作,
    的头像 发表于 11-20 11:37 331次阅读

    京微齐力受邀参加2024年清华大学工程博士论坛

    此前,2024年清华大学国家卓越工程师学院工程博士论坛在北京亦庄(北京经济威廉希尔官方网站 开发区)举办。本届论坛以“清亦融创、新质引领”为主题,来自集成电路、生物医药、人工智能等战略性新兴领域500余位清华大学创新领军工程博士生参加。
    的头像 发表于 11-06 10:17 382次阅读

    英诺达与清华大学携手,共促国产EDA进步

    10月30日,英诺达官方微信发布消息称,英诺达与清华大学近期展开合作,共同深化产学研融合。此次合作聚焦于集成电路低功耗设计领域,英诺达团队走进清华大学集成电路学院,为师生们带来了专题授课及深入交流。
    的头像 发表于 10-31 14:15 487次阅读

    清华新力量,沪上芯征程!清华大学上海校友会半导体专委会2024思瑞浦迎新日

    聚焦高性能模拟芯片2024年10月,清华大学上海校友会半导体专业委员会联合思瑞浦共同举办2024年来沪清华校友迎新活动。金秋时节,新一批清华人离开清华园来到上海,希望借此活动助力他们更
    的头像 发表于 10-31 08:09 299次阅读
    <b class='flag-5'>清华</b>新力量,沪上芯征程!<b class='flag-5'>清华大学</b>上海校友会半导体专委会2024思瑞浦迎新日

    热烈欢迎清华大学电子工程系学子来武汉六博光电交流实践!

    近日,武汉六博光电威廉希尔官方网站 有限责任公司接到清华大学函件,正式成为清华大学电子工程系武汉实践基地之一。2024年8月1日上午,清华大学电子工程系实践团队一行共计13名学子前往武汉六博光电有限责任公司交流
    的头像 发表于 08-02 08:37 510次阅读
    热烈欢迎<b class='flag-5'>清华大学</b>电子工程系学子来武汉六博光电交流实践!

    易华录无锡数据湖与清华大学苏州汽车研究院(吴江)合作挖掘智能驾驶数据新价值

    6月15日,易华录无锡数据湖与清华大学苏州汽车研究院(吴江)数字工业中心就“聚焦汽车智能驾驶领域,共同挖掘智驾数据新价值”举行了签约仪式。清华大学苏州汽车研究院顾问、数字工业中心主任王小明,易华录
    的头像 发表于 06-18 15:00 916次阅读

    清华大学研发新型仿生三维电子皮肤系统

    在科技日新月异的今天,清华大学再次引领了科研的潮流。6月5日,从清华大学传来喜讯,该校航天航空学院与柔性电子威廉希尔官方网站 实验室的张一慧教授团队,成功研制出了一款具有仿生三维架构的新型电子皮肤系统。这一突破性的科研成果不仅代表了电子皮肤领域的新高度,更在人机交互、物理量测量等多个领
    的头像 发表于 06-06 16:37 390次阅读

    清华大学创新领军工程博士团访问摩尔线程

    5月19日,“清华大学创新领军工程博士代表团走进摩尔线程”活动顺利举办。近五十位来自集成电路、能源、航天、通信等重要领域的清华大学工程博士参加了本次活动。
    的头像 发表于 05-20 15:28 436次阅读

    清华大学创新领军工程博士代表团到访摩尔线程,深化产学合作

    5月19日,“清华大学创新领军工程博士代表团走进摩尔线程”活动成功举行。此次活动聚集了五十多位来自集成电路、能源、航天、通信等重要行业的清华大学创新领军工程博士。
    的头像 发表于 05-20 09:21 533次阅读
    <b class='flag-5'>清华大学</b>创新领军工程博士代表团到访摩尔线程,深化产学合作

    清华大学联合中交兴路发布《中国公路货运大数据碳排放报告》

    为践行并推动实现“双碳”目标,清华大学联合中交兴路发布《中国公路货运大数据碳排放报告》(以下简称:《报告》)。
    的头像 发表于 05-09 14:47 363次阅读
    <b class='flag-5'>清华大学</b>联合中交兴路<b class='flag-5'>发布</b>《中国公路货运大数据碳排放报告》

    直线电机生产厂家谈清华大学获芯片领域重要突破

    化设备制造商、医学设备制造商、科研机构以及各大高校。 像大家熟知的清华大学、北京航空航天大学、西安交通大学、哈尔滨工业大学、浙江大学、南京
    的头像 发表于 04-24 08:18 272次阅读
    直线电机生产厂家谈<b class='flag-5'>清华大学</b>获芯片领域重要突破

    清华大学研发成功大规模干涉-衍射异构集成芯片——太极

    4月12日公布,清华大学研发出太极芯片,实现了每瓦160TOPS的高性能通用智能计算,这是该校电子工程系与自动化系共同攻克的难题。
    的头像 发表于 04-12 15:50 452次阅读