0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看威廉希尔官方网站 视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

浪潮存储高效存储产品提升数据存储效率

科技绿洲 来源:浪潮存储 作者:浪潮存储 2022-04-08 09:27 次阅读

随着新威廉希尔官方网站 、新应用不断出现,数字化转型也在不断加速,行业智慧应用爆发式增长,不仅改变了人们的工作、生活、学习方式,使得社会进入了数字经济时代,人们进入便捷、高效的智慧时代,据IDC预测 2025 年,每天有超过 60 亿人与数据发生互动,相当于全球人口的 75%;每个联网的人每隔18 秒就会有至少 1 次数据交互,全球数据也将增至 175ZB。而这些数据被记录在不同存储系统与介质中,企业组织不断购置大量的存储设备来应对快速增长的数据存储需求,这也增加了系统支出和资源能耗。浪潮存储基于威廉希尔官方网站 创新提出了智能在线压缩威廉希尔官方网站 (InCompression),通过结合硬件算法进行数据量缩减,以提升存储空间利用率,达到降低成本的目的。

全闪存储高速发展背后

面临如何提升SSD寿命的挑战

在数据管理的过程中,最终都需要将数据存放到某一类最底层物理存储介质中。目前,底层物理存储介质主要有光、磁、电三种,对应的存储产品类型也可被分为三大类:光学存储,如蓝光存储;磁存储,如HDD机械硬盘;半导体存储,采用电能存储,如SSD固态硬盘。

除了目前主要使用光、磁、电三种介质之外,业界还在进行DNA存储等下一代介质研发。当前在企业级存储市场应用最广泛的是HDD机械盘跟SSD固态盘,其中SSD节能优势明显,相对于HDD,在相同容量下,SSD的电力能耗降低70%,可有效推进数据中心低碳运转,其性能在市场中也具有较强的竞争力。

另外,“硅进磁退” 是存储介质发展的趋势,全闪存阵列的普及速度也在逐年提高。SSD固态硬盘的性能虽高,但是其中的flash颗粒存在成本和磨损寿命的限制。因此在全闪存系统进行设计时,需要充分考虑减少flash的磨损。业界中也通过压缩威廉希尔官方网站 减少写入的数据量,进而有效减少对flash的磨损,提高系统的利用率,延长SSD的使用寿命,从而降低数据存储的成本。

存储系统中的在线压缩威廉希尔官方网站

存储系统中的无损数据压缩算法,正在由效率较低的定长(Fixed Bit Length Packing)压缩转变为不定长压缩。其中,由Abraham Lempel 和 Jacob Ziv独创性的使用字典的LZ77/78算法及其变种应用最为广泛。这类使用字典来压缩数据LZ算法使用一种基于滑动窗口缓存的威廉希尔官方网站 ,该缓存用于保存最近刚刚处理的文本;当出现一个重复时,重复的序列可以用一个短的编码来代替;压缩程序扫描这样的重复,同时生成编码来代替重复序列,随着时间的过去,编码可以重用来捕获新的序列。当然系统必须要设计成解压程序能够在编码和原始数据序列推导出当前的映射。

poYBAGJPj3iAc7JrAAD0Iq5vn-g522.png

△LZ算法示意图

LZ算法使用了有限的窗口在以前的文本中查找匹配,对于相对于窗口大小来说非常长的文本块,很多可能的匹配就会被丢掉。窗口大小可以增加,但这会带来两个损失:一是算法的处理时间会增加;二是指针字段必须更长,以允许更长的跳转。两者都很消耗计算资源(CPU和缓存)。

传统在线实时压缩威廉希尔官方网站 一般采用软件压缩来实现,会带来一定的CPU负载,如果压缩算法做的不够优化,就会导致压缩功能开启后占用较多CPU性能(双倍压缩,占用15%左右CPU资源),一般会影响系统1/3-2/3的性能,影响业务的可用性能。因此,某些存储系统中并不建议企业在业务繁忙时开启压缩功能,一般在业务空闲阶段使用压缩。

数据压缩的另外一个痛点在于,数据块经过压缩后,因为有不同的冗余度,数据块长度变得不一,容易造成磁盘碎片。这种基于位置的压缩给系统的数据布局带来很大影响,严重影响业务的IO响应能力,加剧性能衰减。

基于定长输出的智能在线压缩

保障业务的性能不受影响

浪潮智能在线压缩基于硬件压缩威廉希尔官方网站 ,降低了对控制器计算资源的占用,特别是CPU和缓存,使得压缩功能的开启,只占用了低于3%的CPU性能影响(部分IO交互);与此同时,通过特定优化的压缩算法,将在线压缩的不定长数据转变为定长数据,压缩数据8byte对齐。

定长输出压缩模式是一种前压缩方式,数据会先经过缓存压缩(专用缓存和压缩芯片),最终落盘的是压缩后的数据;且算法依据非定长输入会生成定长输出,更容易满条带刷写,提高性能同时提高磁盘空间利用率。

浪潮存储基于时序的优化策略可以识别随机热点数据,依赖局部性原理进行数据存储,进一步提高随机场景的压缩性能。在数据布局上,不再产生数据碎片,从总体测试表现看,经过开启压缩功能,反而提升系统的随机读写性能。数据库类应用压缩比例2:1-5:1,日志型应用最大压缩比例可达10:1,节省了大量的存储空间。

浪潮存储基于“云存智用 运筹新数据”的理念,不断威廉希尔官方网站 创新,将智能压缩威廉希尔官方网站 适配到存储平台,打造敏捷高效的存储产品,在保障性能无损的情况下,提升数据存储的效率,提高了存储空间利用率,降低数据存储成本,让用户能轻松应对数字经济时代的海量数据的挑战。

审核编辑:彭菁
声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 数据
    +关注

    关注

    8

    文章

    7006

    浏览量

    88955
  • 存储
    +关注

    关注

    13

    文章

    4298

    浏览量

    85809
  • 浪潮
    +关注

    关注

    1

    文章

    458

    浏览量

    23852
收藏 人收藏

    评论

    相关推荐

    如何优化EEPROM的数据存储策略

    。它广泛应用于需要存储少量数据的场合,如微控制器、传感器和嵌入式系统中。优化EEPROM的数据存储策略可以提高数据的可靠性、延长
    的头像 发表于 12-16 17:21 335次阅读

    存储高效率、更灵活,拆解联核科技“前拣后存”解决方案

    为了解决传统仓库低矮、空间小储量小,库位不足等行业痛点,联核科技重磅推出四向穿梭车,向密集存储场景的拓展结合无人叉车,打造高存储高效率的创新四向车前拣后存解决方案。
    的头像 发表于 12-02 16:01 108次阅读

    浪潮存储亮相首届CCF中国存储大会

    了超过1500名行业翘楚共襄盛举,共同探讨存储与计算领域的前沿威廉希尔官方网站 发展和应用创新。浪潮存储作为CCF钻石合作伙伴、产业代表全程参与。
    的头像 发表于 12-02 09:49 179次阅读

    emc存储解决方案的优势

    在当今这个数据驱动的时代,企业对于数据存储的需求日益增长。EMC,作为全球领先的数据存储解决方案提供商,以其创新的威廉希尔官方网站 、高性能的
    的头像 发表于 11-01 15:16 344次阅读

    oss对象存储费用是多少一年?#费用 #对象存储

    存储
    jf_57681485
    发布于 :2024年10月15日 15:38:19

    SD NAND:高效存储的未来之选

    在现代数据驱动的社会中,存储威廉希尔官方网站 的发展显得尤为重要。SD NAND作为一种基于NAND闪存威廉希尔官方网站 的存储设备,凭借其高存储容量、高速度和高可靠性,成为嵌入式系统和消费电子
    的头像 发表于 07-29 17:38 431次阅读
    SD NAND:<b class='flag-5'>高效</b><b class='flag-5'>存储</b>的未来之选

    长擎安全操作系统24与浪潮信息HF/AS存储系列成功兼容

    在数字化转型浪潮席卷全球的今天,信息安全与数据存储的稳定高效成为企业不可忽视的两大核心要素。近日,一项重要的威廉希尔官方网站 兼容性测试认证结果揭晓,标志着长擎安全操作系统24与
    的头像 发表于 07-22 16:20 688次阅读

    浪潮信息推出AIGC存储解决方案

    近日,在科技创新的浪潮中,浪潮信息成功举办了“元脑中国行”全国巡展的杭州站活动,此次盛会不仅汇聚了业界的精英与目光,更见证了浪潮信息在AIGC(人工智能生成内容)领域的一次重大突破。会上,浪潮
    的头像 发表于 07-03 11:16 715次阅读

    浪潮信息推出基于新一代分布式存储平台AS13000G7的AIGC存储解决方案

    、新一代分布式存储AS13000G7自身产品优势,新方案从容应对大模型应用对存储性能、容量以及数据管理等方面的苛刻要求。同时,浪潮信息尝试性
    的头像 发表于 07-01 19:00 1425次阅读
    <b class='flag-5'>浪潮</b>信息推出基于新一代分布式<b class='flag-5'>存储</b>平台AS13000G7的AIGC<b class='flag-5'>存储</b>解决方案

    浪潮信息分布式存储AS13000完成英特尔至强6能效核处理器适配

    近日,浪潮信息分布式存储AS13000完成英特尔至强6能效核处理器适配,实现每瓦性能提升2.3倍,以更高的效率、更优的成本满足海量多态数据
    的头像 发表于 06-19 10:05 848次阅读
    <b class='flag-5'>浪潮</b>信息分布式<b class='flag-5'>存储</b>AS13000完成英特尔至强6能效核处理器适配

    CCF-TCIST走进浪潮信息 共话AI时代存储创新

    ”活动启动,来自CCF信息存储威廉希尔官方网站 专委会、清华大学、北京大学、华中科技大学、华东师范大学、上海交通大学、上海理工大学等单位的十余位存储领域专家、学者走进浪潮信息,在“大模型时代数据中心存储
    的头像 发表于 06-07 14:27 283次阅读
    CCF-TCIST走进<b class='flag-5'>浪潮</b>信息 共话AI时代<b class='flag-5'>存储</b>创新

    EEPROM存储器:实现数据持久化存储的关键组件

    EEPROM存储器,本文将为您详细介绍EEPROM存储器的原理、特点及应用,并推介芯伯乐品牌的EEPROM产品。 一、EEPROM存储器原理 EEPROM
    的头像 发表于 05-27 16:36 1449次阅读

    什么是智能存储系统?对比传统存储柜,智能存储柜有哪些优点?

    智能存储系统(IntelligentStorageSystem)是一种先进的数据存储解决方案,它结合了硬件、软件和自动化管理功能,以实现对数据存储
    的头像 发表于 03-05 13:53 494次阅读
    什么是智能<b class='flag-5'>存储</b>系统?对比传统<b class='flag-5'>存储</b>柜,智能<b class='flag-5'>存储</b>柜有哪些优点?

    浪潮信息存储产品销售额和装机容量实现逆势增长

    近日,Gartner发布2023Q3全球存储市场报告。报告显示,全球外部存储(ECB)市场销售额4978.6M$,同比下降12.8%;装机容量13645PB,同比下降7.0%。浪潮信息存储
    的头像 发表于 01-16 10:20 647次阅读

    Netapp存储数据恢复案例

    某单位一台Netapp存储,该Netapp存储内共有数十块SAS硬盘。 工作人员误操作删除了Netapp存储中12个lun,删除的数据包括客户信息和其他重要
    的头像 发表于 01-04 15:26 438次阅读
    Netapp<b class='flag-5'>存储</b><b class='flag-5'>数据</b>恢复案例