0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看威廉希尔官方网站 视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

华为云发布ModelArts 3.0,面向AI在行业落地提供的AI开发平台

牵手一起梦 来源:C114通信网 作者:佚名 2020-09-25 14:12 次阅读

在HUAWEI CONNECT 2020期间, 华为云发布ModelArts 3.0,融合骨干模型、联邦学习、智能评估、智能诊断和高效算力。

华为云AI首席科学家田奇介绍华为云长期扎根AI基础威廉希尔官方网站 研究,覆盖计算机视觉、语音语义和决策优化三大AI领域,提出了六大基础研究计划。这些计划产生的许多研究成果以即插即用的方式逐步部署于华为云ModelArts,助力行业AI落地。

以下是田奇演讲全文:

大家好,ModelArts在多个行业和项目中有了成功落地,这离不开华为云EI在人工智能领域的长期投入。

华为云长期扎根AI基础研究,覆盖计算机视觉、语音语义和决策优化三大领域。我们聚焦于模型高效、数据高效、算力高效、知识高效4大方向,提出了六大基础研究计划,包括面向大模型的模型摸高计划、面向小模型的模型瘦身计划、面向多模态学习的数据魔方计划、面向小样本学习的数据冰山计划、面向通用知识抽取的万物预视计划和面向新学习范式的虚实合一计划。

我们的许多研究成果,包括自动机器学习、小样本学习、联邦学习、预训练模型等,能够即插即用地部署于ModelArts使能平台,助力AI赋能千行百业。

在多项业界公开竞赛和测评中,华为云EI的持续创新研究已经取得了不错的成果,这些都将应用于ModelArts平台,提供给全球的开发者使用。

感知方面,我们在ImageNet大规模图像分类、WebVision大规模网络图像分类、MS-COCO二维物体检测、nuScenes三维物体检测、视觉预训练模型的下游 分类/检测/分割等验证中,均保持业界领先。目前,ModelArts驱动的感知模型已经在医疗影像分析、油气勘探、工业故障检测等领域获得广泛应用。

认知方面,依托语音语义和知识图谱方向的积累,我们整合行业数据,对多样、复杂、孤岛化的数据进行治理,实现感知智能到认知智能的飞跃。目前,ModelArts驱动的认知模型已在药物靶点预测、金融诈骗分析、智能售后客服等多项任务中得到应用。

决策方面,依托运筹优化、强化学习、智能控制等算法,我们已经构建起完整的决策底座,使得AI真正实现感知-认知-决策的智能闭环。目前,ModelArts驱动的决策引擎已经应用于机位分配、工业制造、智能交通、游戏娱乐等领域。

我们发布的ModelArts3.0,是面向AI在行业落地提供的AI开发平台。在这里,我和我的团队主要是从威廉希尔官方网站 领域进行探索和研究,如何通过AI威廉希尔官方网站 高效解决行业挑战,比如,如何用极少数据训练出高精度模型?如何降低企业应用AI的门槛?如何解决企业对数据安全使用的顾虑等?最终,我们将骨干模型、联邦学习、智能诊断评估优化、和高效算力,很好的融入了ModelArts3.0,下面我将详细解读。

华为云骨干工具链EI-Backbone,整合模型高效、数据高效、算力高效、知识高效,全面提升行业AI落地能力。EI-Backbone的能力,已经在10余个行业成功验证,并且斩获10余个业界挑战赛冠军,发表100余篇顶级论文。EI-Backbone提供了AI开发的新范式,以肺部医疗影像分割为例来介绍:

过去需要成百上千例标注数据才能进行的训练,现在有了EI-Backbone,只需要几十例甚至十几例标注数据即可完成,节省标注成本90%以上;

过去需要大量专家经验和试错成本的模型选择和超参调节,通过EI-Backbone提供的全空间网络架构搜索和自动超参优化威廉希尔官方网站 ,可在无需人工干预的情况下快速完成,且精度大幅提升;

过去需要几周甚至更长时间,从头开始的模型训练、测试、验收和部署流程,在加载EI-Backbone集成的预训练模型后,可以缩短到几小时甚至几分钟内完成,训练成本降低90%以上。

基于EI-backbone威廉希尔官方网站 ,我们华为云ModelArts和杭州云深处科技有限公司合作,实现了四足机器狗的工业场景巡检。

华为云ModelArts 3.0的下一个特性--联邦学习。

众所周知,数据是AI应用的基础,只有基于多样化的数据,才能实现AI智能感知。然而,在实际AI行业落地中,数据是分散在不同的数据控制者之间,这就导致了william hill官网 的数据孤岛问题,使得AI算法训练效果受到限制。

针对这个问题,华为云Modelarts提供联邦学习特性,实现数据不出户的联合建模。用户各自利用本地数据训练,不交换数据本身,只用加密方式交换更新的模型参数,实现协同训练。

华为云EI与中国科学院上海药物所的蒋华良院士合作,将华为自研的FedAMP算法和AutoGenome算法应用到药物研发的AI任务中,精准预测药物水溶解性、心脏毒性和激酶活性,准确度远超传统的联邦学习和深度学习算法。

此外,华为云提供云边协同的服务,支持不同地点、不同客户的数据进行联邦训练,通过加密方式上传服务端,对全局模型进行更新,再将其下发至边缘设备,便捷支持同业态的横向联邦和跨业态的纵向联邦学习。联邦训练参与者可以通过云端,也可以通过华为云边缘设备(如智能小站)的计算能力参与联邦训练,实现行业内联合建模。

模型在部署上线前,需要进行充分评估,结果优秀的模型直接投入生产环境,差强人意的则需要进一步优化迭代。ModelArts提供了全面的可视化评估、智能化诊断功能,使得开发者可以直观的了解模型的各方面性能,进而针对性的进行调优或部署生产。

下面以一个上皮病变细胞分类的模型评估来进行详细讲解。

在精度方面,华为云ModelArts提供了包含准确率、精确率、召回率、F1值、混淆矩阵、ROC曲线等常规指标,还包括了数据敏感度分析模块,评估模型在不同数据特征子区间上的表现;

在性能方面,ModelArts提供算子级别的时间、空间消耗统计分析和多种整体的性能指标,并且针对模型的表现给出相应建议,如模型量化、蒸馏等;

在可解释性方面,ModelArts提供热力图,用以展示模型做出推理判断所依据的区域;

在可信方面,ModelArts内置多种模型可信相关评测方法,提供多角度模型安全能力评估指标,并能依据当前模型表现给出相应的防御建议。

随着深度学习分布式训练的不断发展,各类模型的训练对于计算设备的需求越来越大。但由于各种原因,训练作业的资源还没有被充分利用。造成资源浪费的原因非常多,主要包括以下几点:

训练算法代码本身质量不高、资源利用率低。

模型大小和超参数的设置也会显著地改变计算资源的利用率。

资源池整体利用率存在波动峰谷。类似于“峰谷电”,训练作业的提交也有高峰期和低谷期,造成很大的资源浪费。

弹性训练是ModelArts的核心能力之一,可以根据模型训练速度的需求自适应实现资源的最佳分配。

ModelArts提供两种模式,一是Turbo模式,可以充分利用空闲资源加速已有训练作业,训练速度可提升10倍以上,并且不影响模型的收敛精度;二是经济模式,可以通过最大化资源利用率给开发者提供极致的性价比,在大多数典型场景下可以提升性价比30%以上。

为了更好地支持超大算力需求的AI研发,华为ModelArts平台在集群规模,任务数量,以及分布式训练都做了针对性的优化。

ModelArts研发平台能够管理上万的节点,更好的支持大型训练任务需求。通过优化服务框架,ModelArts平台支持10万级别的作业同时运行、支持万级芯片的大规模分布式任务。

优秀的分布式加速比是大规模集群分布式训练的关键能力,也是促使用户选择使用大规模集群来加速AI业务的关键因素。

华为云ModelArts领先的分布式加速比能力,在MLPerf benchmark Imagenet-1K分类任务上,使用512芯片集群跑出93.6秒的成绩,优于NVIDIA V100的120秒。

在骨干网络、联邦学习、模型诊断优化、高效算力的加持下,华为云ModelArts会加速AI在行业落地。未来,华为云将持续聚焦于模型高效、数据高效、算力高效和知识高效4个重点方向,扎根于AI基础研究。在计算机视觉、语音语义、决策优化3大AI领域进行基础研究计划投入,我们会持续努力,提供强大的AI威廉希尔官方网站 支持每一位开发者发挥所长、创造独特价值。华为云将持续践行普惠AI,与全球开发者共成长

责任编辑:gt

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 华为
    +关注

    关注

    216

    文章

    34429

    浏览量

    251644
  • 人工智能
    +关注

    关注

    1791

    文章

    47244

    浏览量

    238365
  • 机器学习
    +关注

    关注

    66

    文章

    8414

    浏览量

    132606
收藏 人收藏

    评论

    相关推荐

    AI平台的未来趋势与发展方向

    AI平台通过提供高效的数据处理、模型训练、推理服务以及便捷的开发工具,极大地降低了企业应用AI
    的头像 发表于 12-02 17:34 171次阅读

    AI开发平台可以干什么

    AI开发平台是指提供一系列工具、库、框架和服务,旨在帮助开发者更快速、更高效地设计、训练、部署和管理AI
    的头像 发表于 11-05 09:53 164次阅读

    Arm推出GitHub平台AI工具,简化开发AI应用开发部署流程

    专为 GitHub Copilot 设计的 Arm 扩展程序,可加速从到边缘侧基于 Arm 平台开发。 Arm 原生运行器为部署云原生、Windows on Arm 以及
    的头像 发表于 10-31 18:51 2042次阅读

    名单公布!【书籍评测活动NO.49】大模型启示录:一本AI应用百科全书

    CRM流程、使用Copilot等提高员工效率。 但更多的行业虽然有充分的落地积极性,却很难看清我们现在拥抱的“大模型”在企业工作流程中应该长成啥样。在行业早期,因为缺乏标准化产品,最先落地
    发表于 10-28 15:34

    云端ai开发环境怎么样

    随着计算威廉希尔官方网站 的成熟与普及,云端AI开发环境应运而生,为AI开发提供了一个高效、灵活、可扩展的
    的头像 发表于 10-24 09:37 186次阅读

    华为发布全栈可观测平台 AOM,以 AI 赋能应用运维可观测

    9 月 19 日,华为全联接大会 2024 举办期间,在“ AI 赋能应用现代化,加速软件生产力跃升”为主题的论坛上,华为发布全栈 可观测
    的头像 发表于 10-15 09:54 520次阅读
    <b class='flag-5'>华为</b><b class='flag-5'>云</b><b class='flag-5'>发布</b>全栈可观测<b class='flag-5'>平台</b> AOM,以 <b class='flag-5'>AI</b> 赋能应用运维可观测

    AI平台与传统计算的区别

    AI平台与传统计算在定义、威廉希尔官方网站 架构、应用场景和服务模式等方面存在显著差异。
    的头像 发表于 10-14 10:08 353次阅读

    如何选择合适的AI平台

    选择合适的AI平台是企业成功实施AI战略的关键一步。通过深入分析业务需求、全面评估平台功能、审慎考察威廉希尔官方网站 架构、严格确保数据安全、合理控制成
    的头像 发表于 10-14 10:06 174次阅读

    AI平台的优势与应用

    AI平台,作为AI威廉希尔官方网站 与计算深度融合的产物,正以其独特的优势,在全球范围内引领着威廉希尔官方网站 创新和业务模式变革。
    的头像 发表于 10-12 09:44 212次阅读

    百度智能发布千帆大模型平台3.0

    2024年百度智大会上,百度智能震撼发布千帆大模型平台3.0,标志着其在AI领域又一里程碑式
    的头像 发表于 09-26 14:51 434次阅读

    涂鸦引领开发AI浪潮,实用给力的三大开发者工具全新发布

    目前,AI浪潮在开发领域的发展势头汹涌澎湃,其正以前所未有的速度席卷、重塑着各行业的面貌,引领了一场效率与创新的双重革命。涂鸦
    的头像 发表于 08-30 12:27 229次阅读
    涂鸦引领<b class='flag-5'>云</b><b class='flag-5'>开发</b><b class='flag-5'>AI</b>浪潮,实用给力的三大<b class='flag-5'>开发</b>者工具全新<b class='flag-5'>发布</b>!

    开发AI助手

    AI
    草帽王路飞
    发布于 :2024年07月22日 14:41:54

    华为昇腾AI服务可适配100多个大模型

    在近日举办的华为开发者大会2024上,华为常务董事、华为CEO张平安向全球开发者们宣布了一项重
    的头像 发表于 06-24 10:49 749次阅读

    浪潮信息发布企业大模型开发平台&quot;元脑企智&quot;EPAI,加速AI创新落地

    of AI),为企业AI大模型落地应用提供高效、易用、安全的端到端开发平台
    的头像 发表于 04-18 21:21 467次阅读
    浪潮信息<b class='flag-5'>发布</b>企业大模型<b class='flag-5'>开发</b><b class='flag-5'>平台</b>&quot;元脑企智&quot;EPAI,加速<b class='flag-5'>AI</b>创新<b class='flag-5'>落地</b>

    安霸发布前端AI开发平台Cooper

    在2024年的国际消费电子展(CES)上,Ambarella(安霸)发布了一项革命性的威廉希尔官方网站 ——业界领先的Cooper开发平台。Cooper平台不仅集成了软件、硬件和先进的
    的头像 发表于 01-12 17:35 1182次阅读