0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看威廉希尔官方网站 视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

大模型应用,必须警惕“速成幻觉”

脑极体 来源: 脑极体 作者: 脑极体 2023-07-26 09:08 次阅读

我们知道,大模型会编造不正确的答案,产生“幻觉”。

其实,在应用层面,还存在一个更隐蔽的“幻觉”,就是创业公司忽略了大模型落地所需要的长周期、重基建和工程化难度,带来的“速成幻觉”。

随着“百模大战”拉开序幕,大模型过剩带来的市场挤压,也给整个大模型生态带来了行业洗牌的风险。

越来越多的人有了共识,基础通用大模型竞争激烈,注定是少数人的游戏。创业公司随时可能倒掉,造成项目烂尾。

具备威廉希尔官方网站 、产品和行业优势的“第一梯队”大厂,比如百度的文心大模型3.5,已经跟国内其他模型拉开了差距,具有了一定的先发优势和市场打开度,更容易在这场白热化竞争中生存下来。

既然大模型很难“速成”,那么创业公司的“幻觉”,又是从何而来的呢?

第一种“幻觉”:开源干翻闭源

创业公司纷纷入局大模型,给它们勇气的,不是梁静茹,而是开源。

以Meta的Llama 2、智谱AI的ChatGLM为代表的开源大模型,陆续免费并支持授权商用,这无疑是一件好事,让创业公司不用重复造轮子,可以用开源大模型作为基座模型,快速开发出相应的商用版本大模型或大模型应用。

开源的低门槛、低成本,带来了“开源干翻闭源”的幻觉。

为什么说是幻觉?我们可以从企业视角为出发点——即使有了开源模型,想要落地应用大模型,还有哪些必要条件?

一是云基础设施。

大模型落地需要进一步微调、训练、运行,要在云平台上运行。而创业公司跟OpenAI 、百度等闭源头部公司的一大差距,就在于缺少跟云平台的“紧耦合”。

众所周知,OpenAI有微软的大力支持,百度文心大模型背后是百度智能云,这些大厂自研大模型,都对云基础设施的计算硬件集群、资源调度等,进行针对性的协调优化,大模型+AI云的紧密配合,可以更高效地利用计算资源,降低大模型的边际成本。

wKgaomS_1r6AVOnaAABUJ9i0SDU031.jpg

海外大模型开源社区的“明星”如Together会为企业客户提供开源模型及配套的云平台,MosaicML也提供Mosaic Cloud 和多云混合服务,国內的开源项目如ChatGLM,也选择与多家云厂商合作。

可以看到,开源项目跟云平台的“松耦合”,会受到云平台的配合度、商业政策等的影响,一旦后期出现资源涨价、利益分成、研发意向变化,都会给基于开源的大模型项目带来商业化风险。

其次,是二次开发。

基于开源模型的创业公司,往往是在底座模型的基础上做一些微调,灵活有余,但开源模型的分支多、变异快、创新迭代速度快,不承诺任何确定性,一般由程序员自组织来完成开发,这就导致基于开源的大模型稳定性不足,对客户威廉希尔官方网站 团队二次开发能力要求很高,选型难度也很大。

目前看,第一梯队的大厂推出的基础大模型,更能满足企业对大模型稳定性、可靠性的需求。

因为闭源大模型,遵循的不是开源范式,而是工程范式,所以,会以保证开发质量为前提,对用户需求进行明确的描述,组织工程师按照规范的开发流程和周期,以确定的时间和预算,更好的控制开发质量,保证开发效率。

开源是一件好事,但开源并不是一把万能钥匙。如果不解决基础设施、二次开发等瓶颈,创业公司也无法靠开源,快速取得成功。

第二个“幻觉”:三五个人干翻大厂

因为开源,创业公司和互联网企业都可以叫卖大模型,这就产生了第二个“幻觉”:三五个人的创业团队,就能干翻AI大厂。

需要注意的是,“百模大战”带来了白热化的淘汰赛,同时,大模型还在以周为单位进行迭代。

在激荡的市场竞争中,具有长期研发能力和投入意愿的大厂,更容易保持动态的生长力和持久的话语权,体现在几个方面:

一是模型本身的威廉希尔官方网站 城池。

谷歌研发人员此前曾发文称,因为开源,谷歌和OpenAI都没有护城河。这在长期看是对的,但大厂在大模型威廉希尔官方网站 上的领先性,也是现实存在的优势,这个威廉希尔官方网站 代差,足以在大模型的商用周期中,为大厂带来显著的竞争优势。

而且,大模型具有数据上的“飞轮效应”,更早应用、更多用户的大厂大模型,会不断拉大效果差距。比如国內最早推向大众的文心大模型,其3.5版本已经在一些基准测试中,超过了GPT3.5的表现,而宣称达到GPT-3.5的Llama 2刚开源不久,因此目前国产开源大模型最多也就达到GPT-3的水平。

二是持续迭代的成长能力。

大模型落地不是一蹴而就的,企业应用大模型也不能上马后很快不了了之,后续的算力成本、数据工程负担、每一次迭代的资金压力,很快就成为困扰很多大模型公司的头疼问题。

目前,已经有不少曾经想走商业闭源路线的大模型创业公司,直接宣布退出竞争。光年之外中途离场,被美团接手;Hugging Face专注卖算力资源和咨询业务,做大模型更多是“面子工程”。部分企业的表现,也会直接影响到市场对其“是否有钱继续做大模型”的信心。

从成长性看,有资金实力、基础设施完整、商业表现良好的大厂,才能陪企业用户走得更远。

比如“文心一言”3月16日推出以来,在一个月内完成4次迭代,将推理成本降为原来的十分之一,离不开百度在大模型上的长期投入,以及人、钱、卡、基建等多种方面的储备,才让文心一言可以持续进化,在高速迭代的大模型竞争中保持领先。

wKgZomS_1r6AeoMbAACeQFMMP20279.jpg

三是完善的工具链。

没有人会否认,大模型是拿来用的,不是为了当摆设或“公关效应”的。

要用,就要考虑到威廉希尔官方网站 和场景的适配。不同行业和企业对于大模型落地的需求,可能是完全不同的,这种差异化,需要更完善、全面的配套工具,来降低应用门槛。举个例子,行业+大模型需要进行专有数据的清洗、标注、向量化等工作,这个过程是非常复杂的。

三五人的创业团队,很难将主要研发力量,放在开发这些看上去威廉希尔官方网站 含量不高、但对用户十分重要的工具上。

这时候,百度等大厂长期押注AI的优势就凸显出来了,已经沉淀了从数据集、模型训练、开发部署等整套流程的工具,并且开箱即用,把大模型到产业落地的门槛不断降低,从而开启增长飞轮。

四是长期积累的行业Knowhow。

大模型产业化,走向ToB和ToG是大势所趋,要求对行业Knowhow有深层次的理解。因此,政企客户在大模型选型时,非常看重厂商的成功案例和行业服务经验。

AI大厂在产业已经深耕多年,因此大模型的商业开发度更高。目前,百度“文心大模型+飞桨深度学习框架”的组合已与300多家客户合作,在400多个企业场景中取得良好测试效果,并打造了10多个行业大模型。

与之相比,还没有走通产业场景的创业公司,在威廉希尔官方网站 体验、功能创新、工程能力等细节上,可能还需要花费更多时间去摸索。

从这些角度看,头部大模型已经建立起了较为明显的优势,并且还在持续进化。三五人的创业公司,想要在高速迭代的大模型竞争中干翻大厂,需要补的课有点多。

第三个“幻觉”:大模型能“赚快钱”

创业公司通过“资金换规模”的短平快战略,上市融资再套现离场,来兑现投资回报,已经越来越难了,在大模型领域并不现实。那么,另一条路就是通过ToB客户付费,来完成大模型的商业化。

众所周知,ToB行业要干苦活累活。

企业客户在业务场景中接入大模型,可能带来一系列复杂的整合动作,是一个体系化工程,这就要求大模型厂商不能单一快节奏地交付,而要提供解决方案式的整体能力,以及长时间的更新运维服务。

一个项目的交付、运维、迭代、回款等,可能以年计,是无法快进快出的。所以,大模型下沉到行业,必须打消“赚快钱”的念头,以长期主义的心态来做生意。

构建服务团队、形成服务基因,对创业公司及其背后的投资机构的耐心和定力来说,是不小的考验。

与之相比,大厂在长期走向ToB/ToG市场的过程中,已经经历了客户的捶打,锻炼出了更加成熟的服务铁军,也证明了自身的定力。

以百度为例,对于不同行业,有深入了解客户的交付、运维和保障专属团队,在大模型落地应用时,能够给予更具针对性的方案,从而减少无效支出,让大模型更好地帮助企业提质增效。

大模型厂商不能一心只想“赚快钱”,要沉下心来走向产业深处。同样的,企业引入大模型也不能一心只“图便宜”,要从智能化转型升级的这个生命周期出发算总账,综合考虑改造、交付、运维等多项成本。

大模型强大的理解能力和泛化能力,会加速产业智能化的进程,也让AI企业和创业公司发现了新的机会。

就像啤酒总是伴随着泡沫,在一拥而上的大模型创投热潮中,创业公司和企业客户也很容易陷入“速成幻觉”。

大模型走向产业的长路,更需保持冷静和理性,警惕“烂尾”风险。希望大家真正饮下的,是用时间和威廉希尔官方网站 沉淀的精酿,而非随时可能消失的“泡沫”。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • AI
    AI
    +关注

    关注

    87

    文章

    30763

    浏览量

    268906
  • ChatGPT
    +关注

    关注

    29

    文章

    1560

    浏览量

    7604
  • 文心一言
    +关注

    关注

    0

    文章

    124

    浏览量

    1275
  • 大模型
    +关注

    关注

    2

    文章

    2427

    浏览量

    2647
收藏 人收藏

    评论

    相关推荐

    【书籍评测活动NO.52】基于大模型的RAG应用开发与优化

    Agenerated,检索增强生成)与Agent(AI智能体)。本篇小枣君首先尝试用通俗易懂的语言帮助大家认识RAG这一重要应用形式。 01 了解大模型的“幻觉” 在了解为什么出现RAG之前,我们
    发表于 12-04 10:50

    李彦宏:大模型行业消除幻觉,iRAG威廉希尔官方网站 引领文生图新纪元

    在近日举办的百度世界大会上,百度创始人李彦宏分享了关于大模型行业的最新观察。他指出,过去24个月里,大模型行业经历了显著的变化,其中最引人注目的是大模型已基本消除了幻觉现象。这一进步标
    的头像 发表于 11-14 11:39 313次阅读

    TaD+RAG-缓解大模型幻觉”的组合新疗法

    TaD:任务感知解码威廉希尔官方网站 (Task-aware Decoding,简称TaD),京东联合清华大学针对大语言模型幻觉问题提出的一项威廉希尔官方网站 ,成果收录于IJCAI2024。 RAG:检索增强生成威廉希尔官方网站
    的头像 发表于 07-16 15:01 2038次阅读
    TaD+RAG-缓解大<b class='flag-5'>模型</b>“<b class='flag-5'>幻觉</b>”的组合新疗法

    阿里达摩院提出“知识链”框架,降低大模型幻觉

    近日,阿里巴巴达摩院(湖畔实验室)携手新加坡南洋理工大学等研究机构,共同推出了大模型知识链(CoK)框架。该框架不仅可实时检索异构知识源,还能逐步纠正推理错误,有效提高了大模型在回答知识型问题时的准确率,并显著降低了所谓的“幻觉
    的头像 发表于 05-10 11:46 688次阅读

    【大语言模型:原理与工程实践】大语言模型的应用

    幻觉”。此外,大语言模型仅限于生成文字,无法独立调用API以满足多样化需求。例如,当询问“查询今天的天气”时,它会拒绝请求,缺乏根据环境反馈调整行为的能力。动态调整行为及克服“幻觉”现象是大语言
    发表于 05-07 17:21

    【大语言模型:原理与工程实践】大语言模型的评测

    大语言模型的评测是确保模型性能和应用适应性的关键环节。从基座模型到微调模型,再到行业模型和整体能力,每个阶段都需要精确的评测来指导
    发表于 05-07 17:12

    【大语言模型:原理与工程实践】大语言模型的预训练

    进行损失计算,得到下一个目标的预测。也会设计一些其他辅助训练任务,与主任务共同训练。选择合适的预训练数据是确保模型性能和泛化能力的关键,通过对预训练数据进行混合配比,以确保能够获得全面均衡的训练。 预训练遇到的主要问题涉及训练稳定性的问题,思维练如何出现幻觉现象,处理更
    发表于 05-07 17:10

    【大语言模型:原理与工程实践】大语言模型的基础威廉希尔官方网站

    全面剖析大语言模型的核心威廉希尔官方网站 与基础知识。首先,概述自然语言的基本表示,这是理解大语言模型威廉希尔官方网站 的前提。接着,详细介绍自然语言处理预训练的经典结构Transformer,以及其工作原理,为构建大语言
    发表于 05-05 12:17

    微软下架最新大语言模型WizardLM-2,缘因“幻觉测试疏忽”

    对此,微软威廉希尔官方网站 人员在X平台发表声明,表示因对新模型发布流程不够了解,且忽略了幻觉测试环节,导致模型被紧急下线。目前,开发团队正在全力以赴进行测试,预计完成后将尽快重新上线。
    的头像 发表于 04-22 14:15 454次阅读

    Allegro SPB 16.3 版 PCB 画板速成教材

    电子发烧友网站提供《Allegro SPB 16.3 版 PCB 画板速成教材.pdf》资料免费下载
    发表于 02-29 09:30 15次下载

    物理内存模型的演变

    内存管理概述中,主要是以Linux v2.6.11为例进行分析的,但是计算威廉希尔官方网站 在不断发展,新的存储架构、新的指令集架构、新的SoC架构等都对物理内存模型的抽象提出了更高要求。为此,必须抽象一种完全独立于硬件架构的物理内存模型
    的头像 发表于 02-25 10:35 471次阅读

    OpenAI新推文生视频大模型Sora引发热议,首批受益者涌现

    在科技浪潮中,OpenAI再次引领潮流。继2023年的文生文大语言模型之后,2024年春节期间,OpenAI推出的文生视频大模型Sora迅速成为全球科技界的焦点。这款模型能够根据文本内
    的头像 发表于 02-22 14:15 699次阅读

    利用知识图谱与Llama-Index威廉希尔官方网站 构建大模型驱动的RAG系统(下)

    对于语言模型(LLM)幻觉,知识图谱被证明优于向量数据库。知识图谱提供更准确、多样化、有趣、逻辑和一致的信息,减少了LLM中出现幻觉的可能性。
    的头像 发表于 02-22 14:13 1208次阅读
    利用知识图谱与Llama-Index威廉希尔官方网站
构建大<b class='flag-5'>模型</b>驱动的RAG系统(下)

    专补大模型短板的RAG有哪些新进展?这篇综述讲明白了

    然而,尽管它们的能力令人印象深刻,但它们并非无懈可击。这些模型可能会产生误导性的 “幻觉”,依赖的信息可能过时,处理特定知识时效率不高,缺乏专业领域的深度洞察,同时在推理能力上也有所欠缺。
    的头像 发表于 01-17 16:36 988次阅读
    专补大<b class='flag-5'>模型</b>短板的RAG有哪些新进展?这篇综述讲明白了

    华为云AI峰会揭示大模型实践难题

    除此之外,还存在行业训练数据安全控制、大模型幻觉缓解消除及可解释性、构建具有强大逻辑推理规划能力的大模型、基于图数据的知识增强威廉希尔官方网站 、通用结构化数据特性对齐和预训练,以及视觉领域下一个token预测任务建模等挑战。
    的头像 发表于 12-25 10:33 795次阅读