0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看威廉希尔官方网站 视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

详解贝叶斯超参优化方法

如意 来源:CSDN 作者:CSDN 2020-07-06 10:34 次阅读

数学是个奇妙的东西,可以把生活中的一切量化。人生也是个奇妙的东西,起起伏伏,好比一个高斯分布函数。今天就结合一些人生的感悟聊聊贝叶斯超参优化

一些些背景

很多算法工程师戏谑自己是调参工程师,因为他们需要在繁杂的算法参数中找到最优的组合,往往在调参的过程中痛苦而漫长的度过一天。如果有一种方式可以帮助工程师找到最优的参数组合,那一定大有裨益,贝叶斯超参优化就是其中的一种。如果是单单罗列公式,可能会显得乏味,就用一些思考带上公式为大家分享。

高斯过程

首先要知道什么是高斯过程,高斯过程也是正态分布,我们可以理解为一般世界的很多随机事件都是遵循这样的一个原则。比如买了1000次彩票,中奖的概率是多少,这就是一个典型的随机过程。比如在20楼向下扔皮球,砸中美女的概率也是一个随机过程。

在贝叶斯调参过程中,假设参数组合是X,最终的评估结果为Y,通过什么样的X可以取得最优的Y,这个函数F(X)我们是不知道的,

Y=F(X)

于是可以假设这个寻找最优化参数的过程是一个高斯过程。高斯过程有个特点,就是当随机遍历一定的数据点并拿到结果之后,可以大致绘制出整个数据的分布曲线。

上图是一个高斯过程的图,就像人生的曲线,起起伏伏,命运造化弄人,需要不断地尝试才能知道最终的结果。所以如果要找到完整的人生的曲线,需要不停地在每一个单点尝试,直到真个曲线清晰。就知道做什么样的事情,可以到达高谷,好比在超参优化中就是什么样的参数可以得到好的结果。

贝叶斯优化的重要基础理论就是不断通过先验点去预测后验知识。

贝叶斯优化理论

还是这张图,把横轴看作是参数组合X,纵轴看作是这个参数的结果Y。可以通过已经构建的曲线,找到曲线上升的方向,从而在这个方向上继续探索,这样就可以大概率拿到更好的结果。在生活的轨迹上,如果找到一条明确通往幸福的路,可以继续向前探索,因为大概率可以成功,但也许也有会错过更好的机会,陷入局部最优解。请看上图中的五角星,如果我们处于它的位置,继续向上走会迎来一个高峰,但是如果后退,在下降一段时间之后可能会迎来更高的波峰,你该如何选择。

于是,在参数的探索中要掌握一个平衡:

开发:在明确的曲线上扬方向继续走,大概率获得更好的结果,但是容易陷入局部最优。

探索:除了在曲线上扬的方向,在其它的区域也不忘寻找

总结一下,贝叶斯超参优化跟生活很像,面对顺境选择继续向前,还是勇敢的跳出现状寻找更大的突破,这需要一个策略,在调参中这个策略可以自己定义一些方法去实现。把参数组合对结果的影响看作是一个高斯过程,把开发和探索的策略作为一个自定义函数去权衡,这就是贝叶斯超参带给我们的启迪。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 算法
    +关注

    关注

    23

    文章

    4610

    浏览量

    92859
  • 贝叶斯
    +关注

    关注

    0

    文章

    77

    浏览量

    12565
  • 高斯
    +关注

    关注

    0

    文章

    11

    浏览量

    7867
收藏 人收藏

    评论

    相关推荐

    数与折射率的关系 阿数在显微镜中的应用

    程度。因此,在选择镜片时,不能仅追求高折射率,还需要考虑阿数,以确保视野的清晰度。 阿数在显微镜中的应用 阿数在显微镜成像中扮演着重要角色,主要体现在以下几个方面: 优化成像质量
    的头像 发表于 12-20 17:05 342次阅读

    结MOSFET体二极管性能优化

    结MOSFET体二极管性能优化                   END  
    的头像 发表于 11-28 10:33 278次阅读

    共绘智能矿山新蓝图,启科技签约成为首批矿鸿OSV生态伙伴

    鄂尔多市矿鸿OSV生态盛会在内蒙古璀璨启幕,由鄂尔多市数字投资有限公司领衔,华为威廉希尔官方网站 有限公司鼎力协办。大会旨在树立矿鸿生态建设新典范,激发圈内创新潜能。厦门启科技有限公司(以下简称“
    的头像 发表于 08-30 12:36 336次阅读
    共绘智能矿山新蓝图,<b class='flag-5'>贝</b>启科技签约成为首批矿鸿OSV生态伙伴

    透镜的设计与分析

    ** 仿真与设置:单平台互操作性 连接建模威廉希尔官方网站 :构透镜  构透镜(柱结构分析)  传播到焦点  探测器 周期性微纳米结构可用的建模威廉希尔官方网站 : 作为一种严格的特征模态求解器,傅里模态法(也
    发表于 08-06 13:48

    滤波和卡尔曼滤波的区别

    滤波和卡尔曼滤波是两种常用的滤波方法,它们在信号处理、导航、机器人定位等领域有着广泛的应用。
    的头像 发表于 08-01 15:25 630次阅读

    深度学习的模型优化与调试方法

    深度学习模型在训练过程中,往往会遇到各种问题和挑战,如过拟合、欠拟合、梯度消失或爆炸等。因此,对深度学习模型进行优化与调试是确保其性能优越的关键步骤。本文将从数据预处理、模型设计、参数调整、正则化、模型集成以及调试与验证等方面,详细介绍深度学习的模型
    的头像 发表于 07-01 11:41 818次阅读

    再次问鼎全球首富

    今日,亚马逊创始人杰夫·再次荣登全球首富宝座,成功超越了法国奢侈品巨头LVMH老板伯纳德·阿尔诺。在全球富豪500强排名中,以惊人的2090亿美元净资产位列榜首。
    的头像 发表于 06-12 17:36 659次阅读

    X5S搭载顶配MT9679芯片发布!360°灵动云台方便

    4月18日,当召开了春季新品发布会,推出了全新一代 家用激光旗舰投影仪新品——当X5S。本次的当X5S全新升级为一体式云台机身,并继续搭载业内顶配的MT9679处理器。下面带大家详细了解一下
    的头像 发表于 04-18 16:21 861次阅读
    当<b class='flag-5'>贝</b>X5S搭载顶配MT9679芯片发布!360°灵动云台<b class='flag-5'>超</b>方便

    手机信号屏蔽器:功能、原理及使用方法详解

    深圳特信电子|手机信号屏蔽器:功能、原理及使用方法详解
    的头像 发表于 04-01 09:09 3093次阅读

    机器学习8大调技巧

    今天给大家一篇关于机器学习调技巧的文章。参数调优是机器学习例程中的基本步骤之一。该方法也称为参数优化,需要搜索
    的头像 发表于 03-23 08:26 622次阅读
    机器学习8大调<b class='flag-5'>参</b>技巧

    EMI电磁干扰:原理、影响及解决方法详解

    EMI电磁干扰:原理、影响及解决方法详解?|深圳比创达电子
    的头像 发表于 03-21 10:02 877次阅读
    EMI电磁干扰:原理、影响及解决<b class='flag-5'>方法</b><b class='flag-5'>详解</b>?

    马斯克财富降至1890亿美元,成全球首富

    近期稍早时间,IT之家揭示全球亿万富豪的“新秩序”:彭博社亿万富翁指数显示,3 月 4 日,以 2000 亿美元的净资产重返首位,这是他自 2021 年秋首次夺冠。紧随其后分别为 LVMH 集团 CEO 贝尔纳·阿尔诺(1970 亿美元)及马斯克(约 1890 亿美
    的头像 发表于 03-10 10:19 909次阅读

    和英伟达投资Figure人形机器人 超大手笔投资

    和英伟达投资Figure人形机器人 就在AI之后,大家还在关注人形机器人,有外媒报道和科技巨头英伟达将合力投资Figure AI Inc.,Figure AI是一家人形机
    的头像 发表于 02-25 14:37 874次阅读

    本月再次出售亚马逊股票,套现85亿美元 

    美国证交会(SEC)公布的文件显示,是在上周末开启了本次股票出售行动,于周二结束。其间,总共出售 23.7 亿美元估值的 14006906 股亚马逊股票。
    的头像 发表于 02-21 15:50 508次阅读

    风扇控制器怎么调 无风扇控制器怎么接线

    风扇控制器具有更低的噪音和更高的风速,使其成为家庭和办公室等场所的理想选择。 无风扇控制器的调节方法如下: 首先,确保无风扇控制器处于关闭状态,并将其连接到电源插座。根据无
    的头像 发表于 01-24 16:51 1810次阅读