0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看威廉希尔官方网站 视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

对象存储中的五个要素

电子工程师 来源:开源云中文社区 作者:开源云中文社区 2019-11-11 14:30 次阅读

一般来说,当人们考虑对象存储时,只考虑一件事——每TB/GB的价格。尽管这是一个不错的成本指标,但它的作用是使对象存储一维化,并将其降级为存档用例。此外,它扭曲了企业威廉希尔官方网站 堆栈中这一日益重要的部分的价值。

坦率地说,这应该归咎于传统对象存储厂商。多年来,它们在威廉希尔官方网站 方面创新不足,转而提供更便宜的产品。它们还会说这就是顾客想要的,但它们错了。

AWS去年收入达250亿美元可作为证据——其中绝大多数是高性能的主要对象存储。如果我们保守地将S3存储服务的规模算为200亿美元,可以说,S3的规模是其他厂商的总和。再加上价格相似、增长迅速的Azure Blob和Google Cloud,情况就明朗了——成本只是一个考虑因素。

这就是为什么现代企业关注的是更广泛的一系列指标——强调性能、运维效率、灵活性和价格的指标,而不仅仅是价格。他们认识到将数据放在“冰上”会降低其价值。在目标是最大化组织数据的价值的时候,供应商的方法似乎与之背道而驰。

企业应该考虑什么?这分为五大类:性能、可扩展性、S3兼容性、故障响应、一致性。成本之外,这五个要素定义了对象存储中的新指标。

性能

传统上,对象存储并不以性能着称。在价格竞争中,厂商不断牺牲性能。现代对象存储改变了这一点。

从Amazon到Minio,我们都看到了接近甚至超过Hadoop的速度。新的对象存储指标涉及到读写速度(HDD为10GB/s,NVMe为35+GB/s)。对于Spark、Presto、TensorflowTeradata、Vertica、Splunk和分析堆栈中的其他现代计算框架来说,这种吞吐量非常快。MPP数据库以对象存储为目标这一事实证明,对象存储越来越成为主要存储。

如果对象存储系统无法提供这些速度,则无法与所有数据交互,也无法从中提取价值。即使你将数据从传统对象存储中提取到内存中的处理框架中,你仍然需要吞吐量来将数据往返于该内存中——你根本无法从传统对象设备获得这样的吞吐量。

这是一个关键点。新的性能指标是吞吐量,而不是延迟。这是大规模数据所需要的——这是现代数据基础设施中的一个标准。

应该注意的是,虽然性能基准是一个很好的代理,但是只有在该环境中运行了特定的应用程序之后,才能真正知道性能是什么样子的。只有这样,它们才能理解瓶颈到底是什么,是存储软件、驱动器网络还是计算层。

可伸缩性

可伸缩性通常指一个命名空间中的PB数。每个供应商都声称zeta规模,但隐藏了这样一个事实:随着规模的扩大,庞大的、单体的系统变得脆弱、复杂、不稳定和昂贵。

可伸缩性的新指标是你可以处理多少个不同的命名空间或租户。

这个指标是直接从hyper-scaler中获取的,其中,构建块很小,但可以扩展到数十亿个。简而言之,这是云原生的方式。

当构建块很小时,一切都可以更有效地理解和优化——安全性、访问控制、策略管理、生命周期管理、无中断升级和更新以及最终的性能。构建块的大小是故障域可管理性的函数。这就是高弹性系统的架构。

多租户在现代企业中具有多个维度。当然,它指的是企业如何组织对数据和应用程序的访问,它也指应用程序本身以及它们在逻辑上如何相互隔离。

现代多租户方法具有以下特点:

——租户可以在短时间内从几百个发展到几百万个。

——租户之间完全隔离,使它们能够运行具有不同配置、权限、功能、安全性和服务级别的同一对象存储软件的不同版本。当扩展新服务器、更新和地理位置时,这是一个实际的运维问题。

——有弹性和按需。

——每个操作都是API驱动的,自动化的,没有人看仪表板。

——软件足够轻量,可以进行容器化,并利用Kubernetes等行业标准的编排服务。

S3兼容性

Amazon S3 API是对象存储的事实标准,以至于每个对象存储软件供应商都声称与之兼容。也就是说,AWS S3的兼容性实际上是二元的。S3兼容性的指标是1。

这意味着,有成百上千的“角落”用例并没有如你所愿发生。这对专有软件或设备供应商来说尤其具有挑战性。原因是,它们的大多数用例都是直接存档或备份,因此API调用的多样性很低,而且用例非常同质。显然,这是一个开源软件具有显着优势的领域。考虑到应用程序、操作系统硬件架构的大小和多样性,足以覆盖大多数“角落”用例。

对应用程序创建者来说,这很重要。你需要测试应用程序。开源使评估供应商声明和确定平台对应用程序性能的影响变得容易。如果你的供应商足够好,可以作为一个门户,并被其他人作为一个门户,那么你可以有信心,它能满足你的需要。关于开源和S3的最后一点是,开源意味着企业避免了供应商锁定,提高了透明度。

关于S3兼容,如果你正在运行大数据应用程序,S3 SELECT通过用SQL从对象存储中只提取所需的内容,可以大大提高性能和效率。

另外,对bucket通知的支持也是关键。bucket通知有助于无服务器计算——这是任何基于微服务的功能即服务中的关键组件。假设对象存储是云中存储的事实标准,那么当将对象服务器公开给云原生应用程序时,此功能是必须的。

最后,S3实现需要支持Amazon S3服务器端加密API(SSE-C、SSE-S3、SSE-KMS)。更棒的是,它应该支持可证明足够安全的防篡改。

故障

在对象存储中,最容易被忽略的指标可能是系统如何处理故障。故障会发生,有多种形式。对象存储系统需要优雅地处理所有这些问题。

例如,如果存在单点故障,那么这个指标是零。

不幸的是,许多对象存储系统将使用“特殊”节点,这些节点必须启动才能使集群正常工作。其中包括名称节点或元数据服务器。这就会造成单点故障。

即使有多个故障点,承受灾难性失败的能力也是至关重要的。驱动器会出现故障,服务器会坏。关键是采用将故障视为正常情况的软件。这意味着,当磁盘或节点关闭时,软件可以不受影响地继续运行。

inline erasure coding和bitrot protection带来的革命确保在软件返回数据之前,你可以丢失与奇偶校验块一样多的磁盘或节点(这通常是驱动器的一半)。

故障很少大规模测试,但应该是强制性的。interwetten与威廉的赔率体系 负载下的故障将提供故障总成本(数据丢失、时间和技能)的准确消息。

一致性

一致性的指标是100%。一致性是任何存储系统中的一个关键组件,但严格的一致性很少。例如,Amazon S3 ListObject不是严格一致的,它只是最终一致的。

严格一致性是什么意思?对于确认的PUT操作之后的所有操作,必须保持以下状态:更新的值在从任何节点读取时都可见;更新带有冗余,免受节点故障的影响。

这意味着,如果在写入过程中拔出插头,不会丢失任何内容。结果是系统永远不会返回损坏或过时的数据。这是一个很高的标准,对交易型应用程序到备份和恢复用例都有影响。

结论

这些是对象存储中的新指标,反映了现代企业的使用模式,其中性能、一致性、可伸缩性、故障域和S3兼容性是云原生应用程序和大数据分析的基础。在构建现代数据堆栈时,除了考虑成本之外,别忘了这几个指标。

责任编辑:zl

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 驱动器
    +关注

    关注

    52

    文章

    8228

    浏览量

    146272
  • 存储
    +关注

    关注

    13

    文章

    4298

    浏览量

    85812
  • API
    API
    +关注

    关注

    2

    文章

    1499

    浏览量

    61976
收藏 人收藏

    评论

    相关推荐

    为什么选不中PCB上的对象

    图就是一封装的“锁定”属性: “锁定”用来确保对象不会被误操作修改,所以被“锁定”的du当然轻易是选不中的(默认情况)!对于PCB已经完全布局、布线且不希望被改动的对象,就可以进行
    的头像 发表于 11-12 12:23 502次阅读
    为什么选不中PCB上的<b class='flag-5'>对象</b>?

    关于对象存储和云硬盘区别,你了解多少?

    挂载到云服务器上使用,适合高性能、低延迟的数据库和文件系统存储。选择哪种方案应根据具体业务需求和数据类型决定。UU云小编将从定义特点、使用方式与共享、存储与访问特性、应用场景等四方面对对象
    的头像 发表于 11-01 10:57 153次阅读

    Jtti:云存储网关的定义及用例

    存储网关,也称为边缘文件服务器,是一种混合云存储设备,可将本地网络连接到一或多个云存储服务,通常是对象
    的头像 发表于 10-30 16:11 183次阅读

    oss对象存储费用是多少一年?#费用 #对象存储

    存储
    jf_57681485
    发布于 :2024年10月15日 15:38:19

    机械振动的三基本要素

    机械振动是物体或质点在其平衡位置附近进行的往复运动。在物理学,机械振动是一种非常普遍的现象,它涉及到许多不同的物理过程和应用。机械振动的三基本要素是:振幅、周期和频率。 1. 振幅
    的头像 发表于 09-26 14:55 771次阅读

    基于分布式对象存储WDS的信托非结构化数据整合平台

    基于分布式对象存储WDS的信托非结构化数据整合平台
    的头像 发表于 08-28 09:56 330次阅读
    基于分布式<b class='flag-5'>对象</b><b class='flag-5'>存储</b>WDS的信托非结构化数据整合平台

    基于DPU的Ceph存储解决方案

    1. 方案背景和挑战 Ceph是一高度可扩展、高性能的开源分布式存储系统,设计用于提供优秀的对象存储、块存储和文件
    的头像 发表于 07-15 13:44 1304次阅读
    基于DPU的Ceph<b class='flag-5'>存储</b>解决方案

    撤回!京电子终止向特定对象发行股票事项

    近日,京电子(002579.SZ)发布公告,公司召开了第届董事会第二十三次会议及第届监事会第十八次会议,审议通过了 《关于终止向特定对象发行股票事项并撤回申请文件的议案》,同意公
    的头像 发表于 05-23 14:28 538次阅读
    撤回!<b class='flag-5'>中</b>京电子终止向特定<b class='flag-5'>对象</b>发行股票事项

    极空间上线“阿里云对象存储OSS挂载”功能

    虽然与阿里云盘关联密切,但值得注意的是,阿里云对象存储 OSS 实质上是以对象形式存储于 OSS 存储空间内的内容。用户若想使用 OSS,首
    的头像 发表于 04-03 11:20 676次阅读

    arcgis中线要素怎么转成矢量

    将线要素转换为矢量是使用ArcGIS软件的一常见任务。矢量数据是通过将实际地理特征转换为几何形状(点、线和多边形)的方式来表示地理特征。在本文中,我们将详细介绍如何使用ArcGIS
    的头像 发表于 02-25 15:09 1034次阅读

    智能制造的特点是什么?

    智能制造的特点,如同颗璀璨的繁星,引领着制造业迈向全新的高度。制造业智能化升级已经站在风口的浪尖,成为全球政策的“新宠”和未来工业变革的主流趋势。
    的头像 发表于 02-23 10:43 1054次阅读
    智能制造的<b class='flag-5'>五</b><b class='flag-5'>个</b>特点是什么?

    混合云策略的关键要素

    列举了有助于企业混合云策略取得成功的关键要素,包括更低的成本、广泛的可移植性、工作负载管理、工作负载整合和数据安全。
    的头像 发表于 01-23 14:44 663次阅读

    YOLOv8实现旋转对象检测

    YOLOv8框架在在支持分类、对象检测、实例分割、姿态评估的基础上更近一步,现已经支持旋转对象检测(OBB),基于DOTA数据集,支持航拍图像的15类别对象检测,包括车辆、船只、典型
    的头像 发表于 01-11 10:43 1804次阅读
    YOLOv8实现旋转<b class='flag-5'>对象</b>检测

    市场需要密切关注8存储趋势

    Boland指出存在三种主要的存储类型:对象、块和文件。他说,“对象存储是唯一能够以EB规模提供低成本和高性能的存储。”Boland补充说,
    发表于 01-10 10:11 322次阅读

    准确测量绝缘电阻的步骤

    准确测量绝缘电阻的步骤  准确测量绝缘电阻是电气工程领域中的一项基本任务。在电气设备和系统,绝缘电阻测量是确保电器设备安全可靠运行的重要步骤。下面将详细介绍准确测量绝缘电阻的
    的头像 发表于 12-25 11:31 1986次阅读