0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看威廉希尔官方网站 视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

你是什么时候对深度学习失去信心的?

新机器视觉 来源:新机器视觉 2023-05-19 10:09 次阅读

最近几天在知乎上有个问题火了:

你是什么时候对深度学习失去信心的?

在此推荐一下知乎大V@霍华德的回答,以下为原回答。

对于深度学习的现状,工业界还是很清楚的。如果没有变革性的突破,弱人工智能时代的范式应该基本就要确定了。

大模型 + 拖拖乐

基本范式就是 大模型 + 拖拖乐,下游少量数据微调,在前端表现为拖拖乐形成DAG,自动生产模型。拖拖乐平台,各大云厂商都有提供,如阿里的PAI,腾讯的Ti平台、华为的ModelArts,亚马逊的SageMaker等等

73a5311a-f5b6-11ed-90ce-dac502259ad0.png

对于大模型,各种网络魔改价值很有限,因为数据上去后,假设越少越好,偏置归纳越少越好,这就使得模型越朴素越好。

大模型也会成为各大公司的核心资产,所有数据向大模型汇聚,试图记下互联网上的一切数据。然后,一键蒸馏小模型,一键剪枝,一键压缩,一键部署,一键一条龙。

深度学习规则化

越来越觉得,深度学习变成一种数据驱动的规则,一个模型就是一个规则。传统规则引擎里各种if-else,全靠程序员启发式完成。

深度学习规则引擎,每个规则就是个小模型。全靠算法工程师,使用数据驱动的方式训练完成。

之前大家觉得,一个强力模型包打天下。现在看来,更务实的方式的,无数小模型,组合冲击,往往效果更佳。

这就使得,原本深度学习被诟病可解释性问题,其实不再是问题。因为从业务顶层已经被拆分,拆分成一个个可以被人理解的因子,无法被合理解释的因子,项目启动的评审都无法通过。

就我熟悉的视频理解来说吧,原本以为一个强大模型,学习所有数据,出一个强力分数,然后用这个分数搞定一切。但这样的模型背后的黑箱,无法被接受。

现在,视频被从非常多个维度切分,视频清晰度、视频美观度、视频有没有log,视频有没有涉黄,视频有没有涉政,是不是ppt视频,有没有被剪裁过,有没有黑边。所有这些子任务都不需要多强的模型,更重要的是数据。

显著的 > 隐含的

另外一个感悟是,显著的优于隐含的,字幕就是优于打标签,OCR识别优于各种分类、检索、生成。因为字幕就是最显著的,其他信息都是隐含的,通过模型推测出来的。

这就产生了一个固有矛盾。在学术界,隐含的才是有难度的,才是有研究价值的,例如视频动作识别,一定要从连续的动作中理解出到底在干啥。但在工业界,这样的任务就非常难用。工业界喜欢显著的,因为问题最少。

这样的分野,会使得工业界和学术界关心的问题,慢慢发生分歧,不知道是好是坏。

刀耕火种的时代过去了

过去,算法工程师们耕作着一亩三分地,或经营着一个个手工作坊,面向业务营业。但显然刀耕火种和手工作坊时代要过去了。大型收割机已经进入农田,制造业工厂已经拔地而起,里面是一条条模型流水线。这就是生产力的发展,势不可挡。

但就像失去土地的农民,失去作坊的工匠,下步又该何去何从?

技能闭环,还是深耕?

我能想到的大概两个方向。

一个是往大模型深耕,成为大模型专家,在公司内守住一个领域的大模型。或者带着自己大模型的技能,到其他地方去用大模型降维打击。但其实能用起的大模型的地方,可能不会很多,训练的成本就很高。

一个是技能闭环,或者说就是全栈化,补充后台、前端、大数据、产品的知识,争取获得独立打造产品的能力。这样能降低被螺丝钉化的风险。

审核编辑 :李倩

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 数据
    +关注

    关注

    8

    文章

    7015

    浏览量

    88989
  • 模型
    +关注

    关注

    1

    文章

    3238

    浏览量

    48824
  • 深度学习
    +关注

    关注

    73

    文章

    5503

    浏览量

    121138

原文标题:你是什么时候对深度学习失去信心的?

文章出处:【微信号:vision263com,微信公众号:新机器视觉】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    深度学习与机器学习有什么差异知道吗?

    如果经常想让自己弄清楚机器学习深度学习的区别,阅读该文章,我将用通俗易懂的语言为介绍他们之间的差别。
    的头像 发表于 10-31 14:37 1.3w次阅读
    <b class='flag-5'>深度</b><b class='flag-5'>学习</b>与机器<b class='flag-5'>学习</b>有什么差异<b class='flag-5'>你</b>知道吗?

    单片机学到什么时候学习arm比较好???求大神解惑!

    单片机学到什么时候学习arm比较好???求大神解惑!
    发表于 01-09 14:01

    什么时候更容易有创新的想法

    是男,是女?这有关系吗?是大是小,是老是少又何妨?但有一点,很特别吸引人,是的创意!是的,是一个很有创意的人,有很多idea,是可
    发表于 04-15 10:53

    电子工程师们准备在什么时候结婚?

    电子工程师们,已经结婚了的,说说是神马时候结婚的;没有结婚的,说说打算什么时候结婚吧!
    发表于 11-16 17:59

    485通信测量中随机会失去信

    在测量中偶尔会出现失去信号的问题,但是一会又没问题了,影响了最后的结果。请教一下大家。帮忙看下是什么问题
    发表于 09-04 09:42

    关于USART1的疑问如何解答

    原子老师,现在我都快失去信心了,帮我解决一下吧,谢谢。现在的问题是我要用串口1,在串口调试助手里能接到想要的数据, 就是不知道GSM模块中的RX TX 接哪个引脚了? 如果接PA9 PA10的话
    发表于 06-18 23:22

    什么时候该使用OS

    什么时候该使用OS?前面我们介绍了嵌入式基于OS的软件设计和基于前后台系统的软件设计,那麽在什么情况下需要使用OS呢?我发现有好多开发人员把OS用于项目的开发,都有一种心态,似乎他们的系统只有使用过
    发表于 12-16 06:55

    求助,什么时候用RTOS?

    本菜鸟一直是用的裸机开发,也学习过操作系统,但是一直没明白什么时候用RTOS,感觉用裸 机开发一点问题没有啊,什么情况下用RTOS呢
    发表于 06-28 06:54

    串口接线什么时候直连,什么时候要交叉,有没有什么规则?

    串口接线,什么时候直连,什么时候要交叉,有没有什么规则
    发表于 10-08 06:49

    深度学习是什么?了解深度学习难吗?让快速了解深度学习的视频讲解

    深度学习是什么?了解深度学习难吗?让快速了解深度学习
    发表于 08-23 14:36 16次下载

    深度学习的冬天什么时候到来?

    从 2016 年 AlphaGo 战胜李世石掀起深度学习的热潮,到如今深度学习寒冬论甚嚣尘上,短短两三年时间,深度
    的头像 发表于 07-12 11:04 3629次阅读

    富林集团放弃智利建造电动汽车零部件的项目

    投资者们正在对智利的锂资源投资项目失去信心
    的头像 发表于 08-05 11:43 3200次阅读

    开始学习人工智能的优秀时期在什么时候?

    人工智能这场革命席卷整个世界,学习人工智能和机器学习早已不再是计算机科学专业人员的专利,各个学科背景的研究生甚至高中生都在探索这个领域。这就引出了一个基本问题:开始学习人工智能的优秀时期在什么
    的头像 发表于 09-16 14:41 2586次阅读
    开始<b class='flag-5'>学习</b>人工智能的优秀时期在<b class='flag-5'>什么时候</b>?

    鸿蒙系统什么时候可以正式使用

    友商什么时候用上鸿蒙操作系统?华为的鸿蒙系统什么时候能正式投入使用?
    的头像 发表于 06-16 10:38 7696次阅读

    一文详解src-漏洞挖掘-getshell

    之后对失去信心去对网站进行常规的信息收集发现是 asp 语言
    的头像 发表于 11-12 16:48 1116次阅读