与上一代产品相比,第五代英特尔 至强 可扩展处理器实现了令人惊喜的性能提升,能够有助于进一步释放星环科技分布式向量数据库 Transwarp Hippo 的性能潜力,为用户带来强大的向量数据处理能力,这在大模型训练等场景中有着重要的 意义,可帮助用户更高效、 更精确地打造大模型产品。
— 朱珺辰
星环科技联合创始人兼副总裁
百花齐放的大模型时代凸显了分布式向量数据库的关键角色,追求更高的数据库性能成为推动大模型创新、释放大模型潜力的重要方向。英特尔与星环科技的合作证明,第五代英特尔 至强 可扩展处理器可显著提升 Transwarp Hippo 的性能表现,加速海量、多维向量数据处理,赋能智能时代变革。
— 唐炯
英特尔中国软件威廉希尔官方网站 合作事业部总经理
挑 战
以大语言模型为代表的人工智能 (AI) 应用出现爆炸式增长背景下,企业对于非结构化数据的存储与处理需求出现了快速增长,分布式向量数据库得到了普遍应用。而随着数据处理规模的增长,企业对于分布式向量数据库的性能有着更高的要求,提升性能通常可以从以下几个方面入手:
提升 CPU 性能
向量相似度检索、高密度向量聚类等负载属于 CPU 密集型负载,这导致 CPU 成为限制分布式向量数据库性能提升的主要瓶颈,通过升级到新一代英特尔 至强 可扩展处理器平台,将有助于提升数据库的处理能力。
压缩数据库的海量数据数据库中的海量数据带来了巨大性能压力。通过数据压缩,将能够减少存储数据所需的空间,并相应地提高 I/O 性能。
对于数据库进行性能优化通过水平扩展架构、基于 CPU 的向量化指令优化、多元芯片加速等威廉希尔官方网站 ,将有助于发挥并行检索能力,为海量、多维向量处理提供强大算力支持。
解决方案概述
分布式向量数据库在大模型应用中扮演着重要角色,大模型 + 向量数据库的架构能够让大模型保持数据的实时性,使大模型拥有 “长期记忆”,解决模型需要多次二次训练才能满足不同业务需求。同时,通过多模态信息的向量化,帮助大模型满足回答信息实时性要求。用户可以通过表示学习的预处理方式,将文档、图片、音视频等非结构化数据转化为多维向量,并存储在向量数据库中,从而很好地解决大模型训练中的实时性、精度校正等问题。随着大模型等应用的快速发展,分布式向量数据库的应用场景在不断拓展,但也面临着日趋严峻的性能挑战。
星环科技与英特尔合作,推出了基于第五代英特尔 至强 可扩展处理器的 Transwarp Hippo 分布式向量数据库解决方案。该方案利用第五代英特尔 至强 可扩展处理器带来的强大算力,实现了约 2 倍的代际性能提升1 ,可有效满足大模型时代海量、高维向量的存储和计算需求,能够帮助企业更好地应对大模型时代海量、多维向量数据的高并发和实时计算等挑战。
星环科技分布式向量数据库 Transwarp Hippo
星环科技分布式向量数据库 Transwarp Hippo 作为一款企业级云原生分布式向量数据库,基于分布式特性,可以对文档、图片、音视频等多源、海量数据转化后的多维向量进行统一存储和管理。它能够通过水平扩展架构,充分发挥并行检索能力,实现毫秒级高性能数据检索,结合相似度检索等威廉希尔官方网站 ,帮助用户快速挖掘数据价值。
与开源的向量数据库不同,星环科技分布式向量数据库 Transwarp Hippo 具备高可用、高性能、易拓展等特点,支持多种向量搜索索引,支持数据分区分片、数据持久化、增量数据摄取、向量标量字段过滤混合查询等功能,很好地满足了企业针对海量向量数据的高实时性检索等场景。
图 1. 星环科技分布式向量数据库 Transwarp Hippo 产品架构
采用第五代英特尔 至强 可扩展处理器提升 2 倍性能2
为了进一步提升性能表现,星环科技验证了基于第五代英特尔 至强 可扩展处理器的分布式向量数据库 Transwarp Hippo 的性能表现。
第五代英特尔 至强 可扩展处理器拥有更可靠的性能,更出色的能效。它在运行各种工作负载时均可实现显著的每瓦性能增益,在 AI、数据中心、网络和科学计算的性能和总体拥有成本 (TCO) 方面亦有更出色的表现。相较上一代产品,第五代英特尔 至强 可扩展处理器可在相同功耗范围内提供更高的算力和更快的内存。此外,它与上一代产品的软件和平台兼容,因此部署新系统时可大大减少测试和验证工作。
图 2. 第五代英特尔 至强 可扩展处理器带来更多创新特性
为了验证在升级为第五代英特尔 至强 可扩展处理器之后星环科技分布式向量数据库 Transwarp Hippo 的性能表现,星环科技在选用了 Transwarp KNN search 评测程序,该评测程序interwetten与威廉的赔率体系 用户的 top K 邻近范围查询。测试数据如图 3 所示,对比第三代英特尔 至强 可扩展处理器,基于第五代英特尔 至强 可扩展处理器的 Transwarp Hippo 性能是其 2.07 倍7 。
图 3. 基于不同代际英特尔 至强 可扩展处理器的 Transwarp Hippo 性能对比
收 益
在搭配第五代英特尔 至强可扩展处理器之后,星环科技分布式向量数据库 Transwarp Hippo 能够提供强大的性能基础,在大模型等场景创造巨大价值。
支撑数据的高效处理:基于第五代英特尔 至强 可扩展处理器的 Transwarp Hippo 能够实现海量、高维度向量数据处理,并具备低时延、高精确度等优势,可以满足大模型训练等场景对于数据处理能力的苛刻要求。 降低向量数据库的总体拥有成本 (TCO):由于第五代英特尔 至强 可扩展处理器实现了代际性能的大幅提升,有助于提升 Transwarp Hippo 服务器节点的性能密度,帮助用户节省在服务器采购、部署等方面的投资。同时,第五代英特尔 至强 可扩展处理器在性能提升的同时,具备更高的每瓦性能,有助于节省单位性能的能耗支出。 具备性能进一步提升潜力:除了更多的核心数量,更快的 IPC 性能之外,第五代英特尔 至强 可扩展处理器还搭载了英特尔 In-Memory Analytics Accelerator(英特尔 IAA)等硬件加速特性,有助于进一步提升数据库等场景的性能。展 望
基于第五代英特尔 至强 可扩展处理器的星环科技分布式向量数据库 Transwarp Hippo,提供了领先的性能表现,可以有效地解决大模型在知识时效性低、输入能力有限、准确度低等问题。通过将最新资料、专业知识、个人习惯等海量信息向量化存储在星环科技分布式向量数据库 Transwarp Hippo 中,企业可以有效拓展大模型的应用边界,让大模型保持信息实时性,并能够动态调整。
除了分布式向量数据库 Transwarp Hippo 之外,星环科技与英特尔正在面向更多的产品与场景,验证第五代英特尔 至强 可扩展处理器的性能表现,并通过软硬件协同调优等方式,加速处理器的性能释放,从而在加快海量数据处理的同时,帮助用户节省在基础设施方面的成本,提升投资回报率。
点击下方阅读原文了解更多信息
参考资料:
1 数据援引自截至 2023 年 11 月由星环科技开展的测试。测试配置 — 基准配置:双路英特尔 至强 铂金 8380 处理器,40 核,1024 GB 总内存 (16x64 GB DDR5 5600 MT/s),800 GB 固态盘, CentOS Stream 8,Kernel 5.19.0;新配置:双路英特尔至强 铂金 8592+ 处理器,40 核,1024 GB 总内存 (16x64 GB DDR4 3200 MT/s),800 GB 固态盘,CentOS Stream 8,Kernel 5.19.0。英特尔并不控制或审计第三方数据。请您审查该内容,咨询其他来源,并确认提及数据是否准确。
2 数据援引自截至 2023 年 11 月由星环科技开展的测试。测试配置 — 基准配置:双路英特尔 至强 铂金 8380 处理器,40 核,1024 GB 总内存 (16x64 GB DDR5 5600 MT/s),800 GB 固态盘, CentOS Stream 8,Kernel 5.19.0;新配置:双路英特尔 至强 铂金 8592+ 处理器,40 核,1024 GB 总内存 (16x64 GB DDR4 3200 MT/s),800 GB 固态盘,CentOS Stream 8,Kernel 5.19.0。英特尔并不控制或审计第三方数据。请您审查该内容,咨询其他来源,并确认提及数据是否准确。
3 与第四代英特尔 至强 处理器相比的平均性能提升,以 SPEC CPU rate、STREAM Triad 和 LINPACK 的几何平均值为衡量标准。请参阅 intel.com/processorclaims 上的 [G1]:第五代英特尔 至强可扩展处理器。结果可能有所差异。
4 请参阅 intel.com/processorclaims 上的 [G12]:第五代英特尔 至强 可扩展处理器。结果可能有所差异。
5 请参阅 intel.com/processorclaims 上的 [G11]:第五代英特尔 至强 可扩展处理器。结果可能有所差异。
6 使用内置加速器在 AI、数据和网络工作负载上进行测量,取得 1.46 到 10.6 倍的每瓦性能提升。请参阅 intel.com/processorclaims 上的 [A19-A25]、[D1]、[D2]、[D5] 和 [N16]:第五代英特尔 至强 可扩展处理器。结果可能有所差异。
7 数据援引自截至 2023 年 11 月由星环科技开展的测试。测试配置 — 基准配置:双路英特尔 至强 铂金 8380 处理器,40 核,1024 GB 总内存 (16x64 GB DDR5 5600 MT/s),800 GB 固态盘, CentOS Stream 8,Kernel 5.19.0;新配置:双路英特尔 至强 铂金 8592+ 处理器,40 核,1024 GB 总内存 (16x64 GB DDR4 3200 MT/s),800 GB 固态盘,CentOS Stream 8,Kernel 5.19.0。英特尔并不控制或审计第三方数据。请您审查该内容,咨询其他来源,并确认提及数据是否准确。
实际性能受使用情况、配置和其他因素的差异影响。更多信息请见 www.Intel.com/PerformanceIndex
性能测试结果基于配置信息中显示的日期进行测试,且可能并未反映所有公开可用的安全更新。详情请参阅配置信息披露。没有任何产品或组件是绝 对安全的。
具体成本和结果可能不同。
英特尔威廉希尔官方网站 可能需要启用硬件、软件或激活服务。
英特尔未做出任何明示和默示的保证,包括但不限于,关于适销性、适合特定目的及不侵权的默示保证,以及在履约过程、交易过程或贸易惯例中引 起的任何保证。
英特尔并不控制或审计第三方数据。请您审查该内容,咨询其他来源,并确认提及数据是否准确。
-
英特尔
+关注
关注
61文章
9981浏览量
171936 -
cpu
+关注
关注
68文章
10876浏览量
212121
原文标题:第五代英特尔® 至强® 可扩展处理器助力星环科技分布式向量数据库 Transwarp Hippo 实现大幅性能提升
文章出处:【微信号:英特尔中国,微信公众号:英特尔中国】欢迎添加关注!文章转载请注明出处。
发布评论请先 登录
相关推荐
评论