0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看威廉希尔官方网站 视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

神经架构搜索的算法,可以使被AI优化过的AI设计过程加速240多倍

jmiy_worldofai 来源:lp 2019-04-10 14:20 次阅读

自2017年以来,人工智能AI)研究人员一直用AI神经网络来设计更好、更快的AI神经网络。迄今为止,学界一直在追求用人工智能促进人工智更好地发展。这主要是因为,这种方法能达到数万小时的GPU时间。 如果真可以实现这一点,那么设计AI应用程序时,可能会更快、更简单。

今年5月,麻省理工学院的一个研究团队将展示一种名为“神经架构搜索”( “neural architecture search” )的算法,该算法可以使被AI优化过的AI设计过程加速240多倍。 这有利于人工智能更快、更准,并且在实际范围内广泛应用于图像识别算法和其他相关应用。

自2017年以来,人工智能(AI)研究人员一直用AI神经网络来设计更好、更快的AI神经网络。迄今为止,学界一直在追求用人工智能促进人工智更好地发展。这主要是因为,这种方法能达到数万小时的GPU时间。 如果真可以实现这一点,那么设计AI应用程序时,可能会更快、更简单。

麻省理工学院电子工程和计算机科学助理教授韩松说:“在模型大小、应用延迟、准确性和模型容量之间存在各种权衡。把所有的东西权衡起来就会产生一个巨大的设计空间。 以前人们设计的神经网络采用的是启发式算法。神经架构搜索的目的在于减轻算法的工作量,将基于人类启发式的探索转化为算法自主学习的,更符合AI的设计逻辑。 就像AI可以学习下围棋一样,去学习如何设计一个神经网络。”

就像人工智能曾战胜李世石与柯洁,甚至可以教这些围棋国手新的围棋路数, 通过AI来优化AI可以提供新的AI设计思路。

麻省理工用的AI算法类型是一种卷积神经网络(CNN)。(CNN通常是用于图像识别的首选神经网络。除此之外,它还被应用于自然语言处理和药物研发。)

韩松说,这种被AI优化过的CNN的图像分类速度将是其他AI的1.8倍。

他补充说团队能将CNN提速至此,主要缘于以下三点:

首先,他们减少了运行神经架构搜索的GPU内存负载。标准神经架构搜索可以同时检查网络中神经层之间所有可能的连接。而韩松团队的算法每次只在CPU的内存中保存一条路径。这个技巧可以只用十分之一的内存完成对所有参数空间的搜索,从而使搜索能够覆盖更多的网络配置而不会耗尽芯片上的空间。

第二,该团队通过删减掉冗余的神经网络来精简路径,这样明显加快了神经网络搜索进程。通常,神经架构搜索只丢弃单个“神经元”,因为它会修剪掉所有次优的神经网络连接。

第三,这个算法使神经网络搜索意识到AI系统在正在运行的硬件中可能的延迟时间 ,不管这个硬件是GPU或CPU。

韩松说,令人惊讶的是,通过新的算法,我们发现,传统AI中某些图像识别神经网络是错的。从某种意义上说,当前大家已经在用GPU运行算法了,但有些做AI的人的设计思维仍然处于CPU时代。

CNN在其图像识别算法中使用的是3×3、5×5或7×7像素的正方形网格滤波器,不过此前,大家很少使用7×7像素的滤波器,因为人们一直认为运行多层3×3像素的滤波器比单个7×7像素的滤波器更快。

然而,被AI优化的AI却使用了不少7×7像素的滤波器。韩松表示,当前用于人工智能计算的硬件中,GPU仍然占主导地位。他说:“GPU本身有很大的并行性,而且大型内核调用比调用几个小内核调用效率更高,因此7×7层的滤波器更适用于GPU。”

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 神经网络
    +关注

    关注

    42

    文章

    4771

    浏览量

    100744
  • gpu
    gpu
    +关注

    关注

    28

    文章

    4735

    浏览量

    128917
  • AI
    AI
    +关注

    关注

    87

    文章

    30824

    浏览量

    268977

原文标题:麻省理工团队能将被AI优化过的AI设计过程加速240倍!

文章出处:【微信号:worldofai,微信公众号:worldofai】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    未来AI大模型的发展趋势

    上得到了显著提升。未来,算法架构的进一步优化将推动AI大模型在性能上实现新的突破。 多头自注意力机制、前馈神经网络等关键威廉希尔官方网站 的改进,将增强
    的头像 发表于 10-23 15:06 607次阅读

    AI for Science:人工智能驱动科学创新》第二章AI for Science的威廉希尔官方网站 支撑学习心得

    for Science的威廉希尔官方网站 支撑”的学习心得,可以从以下几个方面进行归纳和总结: 1. 威廉希尔官方网站 基础的深入理解 在阅读第二章的过程中,我对于AI for Science所需的威廉希尔官方网站 基础有了更加深入的理解。这一章详细阐述了
    发表于 10-14 09:16

    大模型向边端侧部署,AI加速卡朝高算力、小体积发展

    电子发烧友网报道(文/李弯弯)AI加速卡是专门用于处理人工智能应用中的大量计算任务的模块。它集成了高性能的计算核心和大量的内存,旨在加速机器学习、深度学习等算法的计算
    的头像 发表于 09-17 00:18 3248次阅读

    月访问量超2亿,增速113%!360AI搜索成为全球增速最快的AI搜索引擎

    与传统搜索引擎不同,作为AI原生搜索引擎的360AI搜索基于公开网络、知识库、大模型三大支柱。借助首创的 CoE 威廉希尔官方网站
    的头像 发表于 09-09 13:44 474次阅读
    月访问量超2亿,增速113%!360<b class='flag-5'>AI</b><b class='flag-5'>搜索</b>成为全球增速最快的<b class='flag-5'>AI</b><b class='flag-5'>搜索</b>引擎

    平衡创新与伦理:AI时代的隐私保护和算法公平

    的发展不应背离人类的伦理道德。在推动威廉希尔官方网站 创新的同时,我们必须确保每一步都走得稳健和负责。通过提高透明度、保障算法公平性、保护个人隐私权以及加强国际合作,我们可以确保AI威廉希尔官方网站 的健康发展,使其成为促进社会进步和增进人类福祉的力量。
    发表于 07-16 15:07

    ai大模型和算法有什么区别

    复杂的问题。这些模型通常需要大量的数据和计算资源来训练和优化。例如,深度学习中的神经网络就是一种典型的AI大模型。 算法则是一系列解决问题的步骤和规则,它们
    的头像 发表于 07-16 10:09 1808次阅读

    ai服务器是什么架构类型

    架构AI服务器通常具有较高的通用性,可以运行各种人工智能算法。但是,CPU架构AI服务器在处
    的头像 发表于 07-02 09:51 1063次阅读

    如何训练和优化神经网络

    神经网络是人工智能领域的重要分支,广泛应用于图像识别、自然语言处理、语音识别等多个领域。然而,要使神经网络在实际应用中取得良好效果,必须进行有效的训练和优化。本文将从神经网络的训练
    的头像 发表于 07-01 14:14 461次阅读

    risc-v多核芯片在AI方面的应用

    得RISC-V多核芯片能够更好地适应AI算法的不同需求,包括深度学习、神经网络等,从而提高芯片的性能和效率,降低成本,使AI边缘计算晶片更具竞争力。 再者,RISC-V的多核设计
    发表于 04-28 09:20

    开发者手机 AI - 目标识别 demo

    Lite的API接口实现主要功能; Mindspore Lite为Openharmony AI推理框架,为上层应用提供统一的AI推理接口,可以完成在手机等端侧设备中的模型推理过程
    发表于 04-11 16:14

    STM32H750可以使用Cube.AI吗?

    STM32H750,可以使用Cube.AI
    发表于 03-19 06:14

    NanoEdge AI的威廉希尔官方网站 原理、应用场景及优势

    可以减少数据在传输过程中被窃取或篡改的风险,提高数据安全性。 - 低能耗:通过优化神经网络模型和硬件设计,NanoEdge AI
    发表于 03-12 08:09

    是德科技推出AI数据中心测试平台旨在加速AI/ML网络验证和优化的创新

    2024年2月29日,是德科技(Keysight Technologies,Inc.)宣布,针对人工智能(AI)和机器学习(ML)基础设施生态系统,推出了 AI数据中心测试平台,旨在加速AI
    的头像 发表于 02-29 09:32 633次阅读
    是德科技推出<b class='flag-5'>AI</b>数据中心测试平台旨在<b class='flag-5'>加速</b><b class='flag-5'>AI</b>/ML网络验证和<b class='flag-5'>优化</b>的创新

    【国产FPGA+OMAPL138开发板体验】(原创)5.FPGA的AI加速源代码

    FPGA架构优化。以下是我写的一个简化版的代码,用来展示FPGA如何加速AI计算中的某个简单操作(比如矩阵乘法)。 // Verilog代码,用于FPGA上的
    发表于 02-12 16:18

    沃尔玛发布最新AI威廉希尔官方网站 产品 已在CES展会上展示AI搜索威廉希尔官方网站

    建议。比如你搜索足球观看派对得到的购物帮助,就可能会是关于薯条、鸡翅、饮料和宽屏电视。 AI工具结合了微软的人工智能模型和沃尔玛的购物者数据来提供更加个性化的服务,提升用户的购物体验。 目前AI工具还只是iOS用户
    的头像 发表于 01-11 16:06 867次阅读