0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看威廉希尔官方网站 视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

AI智能体生态圈和软件栈

jf_23871869 来源:jf_23871869 作者:jf_23871869 2024-12-03 15:49 次阅读

原文链接:https://www.letta.com/blog/ai-agents-stack

一,理解AI智能体

尽管市面上有许多关于智能体堆栈和市场的分类,但我们认为这些分类并不总能准确反映开发者实际使用的工具和威廉希尔官方网站 。随着内存、工具使用、安全执行和部署方面的进步,我们决定分享基于我们一年多的开源AI工作和7年以上的AI研究经验的“智能体堆栈”。

wKgZO2dG9WuAcX7_AAIF8QF5CpE162.png

2024年末的AI智能体堆栈,被组织成三个关键层:

智能体托管/服务

智能体框架

LLM模型与存储

二,从LLM到LLM智能体

2022年和2023年见证了LLM框架和SDK的兴起,以及通过API消费LLM和自部署LLM推理的平台的建立。2024年,我们看到了对AI“智能体”的兴趣急剧转变,智能体通常指被赋予输出动作(工具调用)并在自治环境中运行的LLM。

三,智能体堆栈的独特之处

智能体比基本的LLM聊天机器人是一个更复杂的工程挑战,因为它们需要状态管理(保留消息/事件历史,存储长期记忆,执行多个LLM调用在智能体循环中)和工具执行(安全执行LLM输出的动作并返回结果)。

因此,AI智能体堆栈与标准的LLM堆栈看起来非常不同。让我们从模型服务层开始,分解今天的AI智能体堆栈:

1,模型服务

LLM是AI智能体的核心,需要通过推理引擎提供服务,通常运行在付费API服务后面。OpenAI和Anthropic在封闭API模型推理提供商中领先,而Together.AI、Fireworks和Groq等提供开放权重模型服务。vLLM在本地模型推理提供商中领先。

wKgZomdECr-AeKwvAAGZc7II3dM963.png

2,存储

存储是智能体的基本构建块,智能体需要持久状态,如对话历史、记忆和外部数据源。向量数据库如Chroma、Weaviate等流行于存储智能体的“外部记忆”。Postgres通过pgvector扩展支持向量搜索。

wKgaomdECuiAegbzAAH7e_Ma0Os573.png

3,工具和库

智能体与AI聊天机器人的主要区别在于智能体能够调用“工具”。LLM生成结构化输出指定要调用的函数和参数。智能体服务必须使用沙箱以确保安全执行。智能体通过OpenAI定义的JSON模式调用工具,这意味着智能体和工具可以跨不同框架兼容。

wKgZoWdECqCAJCffAAFnwGewTuE362.png

4,智能体框架

智能体框架协调LLM调用和管理智能体状态,不同框架在状态管理、上下文窗口结构、跨智能体通信和内存方法上有不同的设计。智能体框架的选择取决于应用程序的需求。

wKgZO2dG9XSAZm0gAAEI3PiKUQE223.png

5,智能体托管和智能体服务

大多数智能体框架设计为智能体仅存在于编写的脚本或笔记本中。我们认为智能体的未来是作为服务部署到本地或云基础设施,通过REST API访问。部署智能体作为服务比部署LLM更复杂,涉及状态管理和安全工具执行。

wKgZPGdG9XqAUm8rAAGM-_HYbWQ730.png

四,总结

智能体堆栈仍处于早期阶段,我们期待看到生态系统的扩展和演变。有兴趣的读者可以查看Letta OSS项目和注册Letta Cloud的早期访问。

看了以上内容,你的看法是?欢迎评论区留言讨论!

审核编辑 黄宇

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • AI
    AI
    +关注

    关注

    87

    文章

    30746

    浏览量

    268899
  • 智能体
    +关注

    关注

    1

    文章

    147

    浏览量

    10575
收藏 人收藏

    评论

    相关推荐

    AI智能是什么_AI智能如何重塑企业业务流程

    AI威廉希尔官方网站 的飞速发展令人瞩目。就在企业领导者们刚开始熟悉AI助手时,AI智能Agent(国际版)已经迅速成为讨论的焦点。它们之所以受到广泛关
    的头像 发表于 12-19 17:55 221次阅读

    深度解析研华全AI产品布局

    在人工智能迈向边缘智能化的浪潮中,研华科技通过“Edge AI+生态协同”战略推动AIoT 2.0时代的产业落地。本文专访研华科技产品总监邱柏儒,深度解析研华全
    的头像 发表于 12-05 09:51 217次阅读

    磁性元器件产业新趋势:生态圈构建引领未来

    磁性元器件产业面临多重挑战的当下,未来竞争将有怎样的变化?蔡金波会长指出,产业生态圈的构建将是新的竞争手段! 在当今快速发展的科技时代,磁性元器件产业正面临着前所未有的变革与挑战。广东省磁性元器件
    的头像 发表于 11-21 11:08 116次阅读
    磁性元器件产业新趋势:<b class='flag-5'>生态圈</b>构建引领未来

    2024 OPPO开发者大会召开,以威廉希尔官方网站 为基石共建AI智能生态

    时代。在这场关乎行业、用户的变革中,OPPO作为AI手机的贡献与普及者之一,于10月17日的OPPO开发者大会(简称ODC)AI智能生态
    的头像 发表于 10-18 15:09 565次阅读
    2024 OPPO开发者大会召开,以威廉希尔官方网站
为基石共建<b class='flag-5'>AI</b><b class='flag-5'>智能</b><b class='flag-5'>体</b>新<b class='flag-5'>生态</b>

    研华科技携手森云智能助力边缘AI应用落地

    研华深知产业数智化不是“单机游戏”,更需要“生态合作”,基于此,研华集结生态伙伴,共荣物联产业生态圈。今天小A君将为您介绍研华在边缘AI重要的伙伴——森云
    的头像 发表于 09-14 18:00 1211次阅读

    第二届安富利汽车生态圈峰会启幕,聚焦汽车电子威廉希尔官方网站 发展新趋势

    8月27日,第二届安富利汽车生态圈峰会正式在苏州启幕。峰会以“驭变·领航,汽车电子威廉希尔官方网站 发展新趋势”为主题,汇聚产业链上下游的生态合作伙伴,共同探讨“智能驾驶的深度探索”、“智能网联的无
    发表于 08-29 16:57 1744次阅读
    第二届安富利汽车<b class='flag-5'>生态圈</b>峰会启幕,聚焦汽车电子威廉希尔官方网站
发展新趋势

    圣邦微电子参加第二届安富利汽车生态圈峰会

    即将召开的第二届安富利汽车生态圈峰会,以“驾驭变革,引领未来:汽车电子威廉希尔官方网站 的新趋势”为主题,汇聚行业精英共谋汽车产业创新发展。作为重要参与者,圣邦微电子将携手安富利,深入苏州、宁波、重庆、广州四大汽车产业重镇,共赴这场科技盛宴。
    的头像 发表于 08-28 16:17 711次阅读

    研华软硬整合携手打造边缘AI生态圈

    今日,研华科技举办法说会,接下来将进一步软硬件结合,提供全式AIoT解决方案,并推动Sector产业组织变革,以加速AI应用落地,提升客户体验,从而驱动公司下一阶段的增长。
    的头像 发表于 08-01 10:48 518次阅读

    联想全AI之海,纳智能中国的山川万物

    联想全AI的沧海横流,看见智能中国的底色
    的头像 发表于 07-01 09:42 1300次阅读
    联想全<b class='flag-5'>栈</b><b class='flag-5'>AI</b>之海,纳<b class='flag-5'>智能</b>中国的山川万物

    大模型不够用,还有“AI智能”?

    前不久,在一场活动中有人工智能专家围绕“AI智能”的话题展开了讨论,他们表示,AI智能
    的头像 发表于 05-12 08:04 344次阅读
    大模型不够用,还有“<b class='flag-5'>AI</b><b class='flag-5'>智能</b><b class='flag-5'>体</b>”?

    中科曙光受邀参加GenAICon2024并正式发布AI威廉希尔官方网站 软件DAS

    4月18日,智东西2024中国生成式AI大会(GenAICon2024)召开,中科曙光受邀参会并正式发布了最新的威廉希尔官方网站 研究成果:AI威廉希尔官方网站 软件DAS。
    的头像 发表于 04-20 09:21 722次阅读
    中科曙光受邀参加GenAICon2024并正式发布<b class='flag-5'>AI</b>威廉希尔官方网站
<b class='flag-5'>软件</b><b class='flag-5'>栈</b>DAS

    麒麟软件:生成式AI浪潮席卷,国产操作系统加快产品和生态布局

    东南事业部总经理吉高建。在过去麒麟软件已经建立了国产操作系统的领先优势,那么现在,麒麟软件也在思考和探索国产操作系统如何顺应生成式AI的发展,以及建设更强大生态圈等问题。   稳居中国
    的头像 发表于 04-12 14:18 2791次阅读
    麒麟<b class='flag-5'>软件</b>:生成式<b class='flag-5'>AI</b>浪潮席卷,国产操作系统加快产品和<b class='flag-5'>生态</b>布局

    纯血鸿蒙系统,拿什么与安卓、iOS比?

    鸿蒙系统的出现就是来打破这种僵局的,华为鸿蒙是以生态系统为基本而产生的独立系统。如果与Android、iOS系统无异何必浪费时间。生态圈为1+8+N,其中不止是app应用层开发、还有智能家居、家电
    发表于 02-21 21:04

    OPPO发布1+N 智能生态战略,联发科携手OPPO打造AI手机生态

    最近,OPPO举办AI战略发布会,发布由 OPPO AI 超级智能AI Pro 智能
    的头像 发表于 02-21 17:03 1042次阅读
    OPPO发布1+N <b class='flag-5'>智能</b><b class='flag-5'>体</b><b class='flag-5'>生态</b>战略,联发科携手OPPO打造<b class='flag-5'>AI</b>手机<b class='flag-5'>生态</b>

    OPPO发布1+N智能生态战略

    OPPO近日在全球科技界掀起了波澜,正式发布了其独特的1+N智能生态战略,标志着这家科技巨头在人工智能领域的全新布局。该战略的核心在于两大组件:A
    的头像 发表于 02-21 10:36 720次阅读