0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看威廉希尔官方网站 视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

内部部署仓库架构vs.云计算数据仓库架构

存储D1net 来源:企业网D1Net 作者:企业网D1Net 2022-07-28 14:41 次阅读

如今,越来越多的企业将数据仓库部署在云中。但是,企业需要考虑内部部署数据仓库和云计算数据仓库各自的优点和缺点。

数据仓库被各种规模的企业广泛用于为商业智能(BI)和分析应用程序摄取、存储和处理大量的数据。数据仓库出现在上世纪90年代,是一种成熟的主流威廉希尔官方网站 。但是如今对于希望部署数据仓库的企业而言,其中一项重大决策是将其放在内部部署设施还是云平台中。

与其他类型的IT系统一样,与内部部署数据仓库相比,云计算数据仓库提供了各种好处:例如易于扩展,更具灵活性,数据库管理员(DBA)的日常管理工作更少。但是每个企业都有自己的一些需求和优先事项,因此在规划数据仓库部署之前,需要对云计算和内部部署的选项进行比较。为了帮助解决这个问题,以下介绍了这两种方法及其优缺点。

内部部署仓库架构vs.云计算数据仓库架构

高质量的计算环境(包括服务器、操作系统、存储和数据库)对于任何使用大量数据的应用程序的成功都是至关重要的。这无疑适用于数据仓库:企业为了选择最佳的数据仓库平台,IT和数据管理团队需要评估完整的系统环境,而不仅仅是其核心的数据库软件。

传统的数据仓库架构由以下三层组成:

底层具有数据库服务器,其中包含数据仓库本身;

中间层处理数据以进行分析,通常由在线分析处理或OLAP引擎进行;

顶层作为商业智能和分析工具的表示层和前端接口

企业数据仓库将来自企业所有业务运营的数据存储在一个集中的平台中;另一方面,数据集市是较小的仓储系统,其中包含特定部门、业务单位或用户组的数据子集。两者通常都包含在数据仓库架构中,以下是设计一种架构的两种主要方法,这是一种通常简称为Inmon与Kimball的选择。

自上而下的方法。该方法由计算机科学家和供应商高管Bill Inmon创建,从企业数据仓库开始,然后使用存储在其中的数据集来设置各种数据集市。

自下而上的方法。威廉希尔官方网站 顾问Ralph Kimball通过开发这种替代方法实现了彻底的转变,其中构建了单独的数据集市,然后将其集成以生成企业数据仓库。

使用这些传统概念,云计算使数据仓库供应商能够定制其底层硬件和软件架构,以满足不同的处理需求。以下是云计算数据仓库产品的一些典型示例,以下按字母顺序列出。

用于分析和数据仓库的Autonomous Database。Oracle公司用于云中分析数据的旗舰系统构建在Oracle数据库和Oracle Exadata计算平台之上。该系统可用于共享或专用基础设施部署,也可通过Oracle的Cloud@Customer服务安装在内部部署设施中。Oracle公司的共享基础设施是一种更传统的云计算服务,而专用的则为客户提供一个完全私有的公有云环境,拥有自己的计算、存储、网络和数据库资源。

Azure Synapse分析。微软公司的云分析服务提供无服务器和专用资源模型,并使用称为Synapse SQL的分布式SQL处理引擎来运行数据仓库的查询。它还包括ApacheSpark作为大数据分析引擎和Azure DataLake Storage Gen 2作为其数据存储。该平台基于横向扩展的大规模并行处理(MPP)架构,可跨多个节点分配工作负载并将计算资源与存储分开,使客户能够独立扩展每个节点。

BigQuery。Google BigQuery是一个无服务器云数据仓库,具有基于SQL的分布式MPP分析引擎,可以将其大部分数据存储在表中。每个表列都是单独存储的,这使BigQuery能够比传统的基于行的存储更有效地扫描整个数据集的各个列。BigQuery同时使用分区和集群来提供高性能数据访问。它还支持多云数据仓库部署,并包括用于机器学习、预测建模和地理空间分析的引擎。

Redshift。AWS公司的Amazon Redshift使用集群来预置一个或多个计算节点,以便在数据仓库、操作数据库和数据湖中运行分析应用程序。AWS提供无服务器选项、机器学习模块以及与其他各种云服务的原生集成,包括商业智能、数据集成和大数据处理工具。与BigQuery一样,Redshift将每个表列分开存储;它还提供自动表优化功能,通过改进数据集的物理布局来提高集群中的查询速度。

Snowflake。与大多数竞争对手不同,Snowflake的数据仓库系统旨在跨AWS、Azure和谷歌云平台运行。Snowflake将其处理环境描述为混合共享磁盘/无共享架构。该产品使用中央存储库在整个环境中共享数据,并使用多个大规模并行处理(MPP)计算集群来分离工作负载,集群中的每个节点都在内部部署存储部分数据集。作为一项完全托管的服务,Snowflake还支持数据湖、数据工程和数据科学工作负载。

内部部署数据仓库和云计算数据仓库的优缺点

内部部署数据仓库面临的一大挑战是需要部署满足企业的数据架构和处理要求的硬件和软件计算环境。硬件支持团队、系统管理员和数据库与数据仓库软件供应商一起构建运行环境,这通常很复杂,需要专门的团队来进行管理和支持。此外,扩展内部部署系统以满足不断增加的数据存储和工作负载增长可能既昂贵又耗时。

但云计算数据仓库也可能给企业带来一些挑战,并需要改变IT流程。以下是有关这两种方法在某些关键领域的优缺点的详细信息

(1)成本

很明显,在内部部署数据中心部署和支持数据仓库系统的成本通常比从云计算提供商那里租用一个基于使用量付费的数据仓库系统要高得多。对于由供应商完全管理的数据仓库即服务(DWaaS)环境尤其如此。但对于已经在现有数据中心进行投资的企业而言,云计算与内部部署的成本比较并不那么简单。

云平台最初的卖点是能够降低IT成本。但在云中实施应用程序的企业很快意识到节省成本并不总是其主要优势之一。企业可能不必为云计算数据仓库系统购买服务器和软件,但使用云供应商的计算、内存和硬盘资源的成本可能会增加,尤其是在数据仓库工作负载意外增加的情况下。

当然,在比较内部部署和云平台时,系统成本并不是IT团队需要考虑的唯一成本。支持环境所需的劳动力成本也必须考虑在内。对于内部部署数据中心,这包括对计算硬件、操作系统、磁盘存储和数据库的管理支持。云计算数据仓库并没有完全消除支持成本,例如在DWaaS环境中,数据仓库仍然需要处理管理任务。但这种成本在云中通常要低得多。

还有其他一些经常被忽视的成本。在公有云中部署数据仓库的企业不会产生合规性认证、数据中心环境控制、能源消耗、高可用性和灾难恢复配置以及系统改进方面的直接成本。这些成本都包括在云计算服务的成本中,有些可能会导致企业的使用成本更高,但云计算供应商会为它们支付费用。

(2)新特性和功能

云计算数据仓库市场竞争激烈,这迫使云计算供应商将他们的功能集实现最大化。而不断创新和集成新功能以使其产品与竞争对手的产品区分开来是绝对必要的。因此,云计算数据仓库用户能够利用源源不断的新特性和功能。

此外,由于云计算供应商对整个数据仓库系统负责,他们的客户可以受益于从底层计算基础设施到数据仓库软件本身的增强。对于自己管理环境的内部部署用户而言,升级系统和部署新软件版本更加复杂。新功能在内部部署数据仓库软件中的可用速度也可能不如在云计算服务中的可用速度,这些云计算服务可以由供应商持续更新。

云平台的另一个潜在优势是:为了补充其核心数据仓库功能以用于基本商业和报告用途,行业领先的云计算供应商和其他竞争对手都提供了支持数据湖、机器学习、大数据分析、数据管道的附加威廉希尔官方网站 和高级分析应用程序的开发和其他功能。

(3)可扩展性

系统可扩展性帮助IT团队应对处理工作负载的增长。当性能调整和更新软件配置不再对系统吞吐量产生积极影响时,就需要添加硬盘、内存和计算容量。可扩展性对于数据仓库也很重要,以便在添加新的源系统时适应数据增长。

但是扩展内部部署数据仓库平台可能是一件非常麻烦的事。如果服务器有能力增加CPU或内存,系统管理员需要打开机箱并更换或添加组件。对于没有额外可用容量的服务器,硬件需要升级到更大的系统。集群环境提供水平扩展,可以添加更多服务器,但硬件、软件和管理成本很快就会变得过高。

云平台的主要卖点之一是易于扩展。例如,Amazon Redshift用户可以快速将节点添加到他们的运行环境中,以获得更好的性能和更多的存储空间。Oracle自治数据库通过提供自动扩展功能更进一步,该功能可以自动增加计算或存储资源。AWS和Snowflake提供了类似的并发扩展功能,可以在工作负载增加时自动增加集群容量。

(4)性能监控和调整

为了优化数据仓库的性能,内部部署平台通常需要IT团队使用单独的工具来监控硬件、操作系统和数据库。由于云计算供应商能够为其数据仓库基础设施定制其性能监控工具和顾问实用程序,因此这些工具通常提供比内部部署的工具更全面的信息。

然而,除了标准的数据库性能调优挑战之外,云平台还为性能监控和故障排除增加了另一个维度。将数据传入和传出云数据仓库系统可能具有挑战性,尤其是在数据量大且时间紧迫的情况下。此外,在云平台上实施数据仓库的企业并不完全对性能负责。当系统性能受到怀疑并且扩展并不是一种很好的选择或无法解决问题时,企业将不得不与其云计算提供商合作以确定根本原因。

更糟糕的是,当资源被过度利用时,云计算数据仓库系统可能会停止企业的工作负载。在任何数据库环境、内部部署设施或云平台中,只需要一些调整不当的查询就可能增加资源消耗。但是云计算资源利用率的持续增加可能会导致企业被迫升级到更高的性能层。

(5)管理控制

在内部部署环境中,IT部门对其计算系统拥有完全的控制权和全部责任。对于云计算数据仓库,企业将与供应商分担这些责任。尤其是在完全托管的DWaaS环境中,企业可能放弃管理数据仓库平台的部分所有权。

有些IT部门会将此视为一种好处,而另一些则将其视为一种风险,但大多数人可能会将其视为风险和回报的结合。而行业领先的云计算数据仓库提供商都提供服务水平协议,以保证最低正常运行时间百分比,这将有助于减少对系统失去控制的担忧。

(6)安全

同样,部署内部部署数据仓库的企业负责保护整个环境——从硬件基础设施到软件堆栈。但是在云中,安全责任由提供商分担。重要的是要了解企业不会将100%的安全责任移交给供应商。在云安全的责任共担模型下,客户仍然需要处理保护数据仓库环境的某些方面。

责任的划分方式可能因供应商而异。它还取决于企业是使用托管DWaaS环境还是IaaS环境,其中供应商通常只负责保护底层IT基础设施。不过,一般而言,IT团队仍对数据安全、数据分类、访问控制和端点设备安全等任务负责。

标准的安全最佳实践适用于内部部署和云平台,但使用云计算数据仓库系统的企业能够与云计算供应商分担保护其运营环境的成本。能够利用云计算供应商的安全功能是另一个优势,他们有更多的动机来确保云平台的安全性,他们为此投入了大量资金。

(7)审计和监管合规

如上所述,云计算数据仓库的好处之一是云计算供应商承担底层架构的责任。但这可能会给需要遵守行业标准或监管合规性以及内部标准的企业带来挑战。

与安全性非常相似,合规性是客户和云计算供应商之间的共同责任。云计算供应商通常会为HIPAA、GDPR和其他合规框架提供第三方审计师合规报告和证明。但是企业必须与云计算供应商合作,根据企业的特定审计需求收集所需的支持证据,以验证数据仓库系统是否符合适用的框架。

尽管使用云计算服务可能会使查找所需证据变得更加耗时,但将一些监管合规成本转嫁给云计算供应商对于企业来说可能更重要。

审核编辑 :李倩

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 云计算
    +关注

    关注

    39

    文章

    7776

    浏览量

    137369
  • 数据库
    +关注

    关注

    7

    文章

    3795

    浏览量

    64367
  • 数据仓库
    +关注

    关注

    0

    文章

    61

    浏览量

    10446

原文标题:内部部署数据仓库与云计算数据仓库的优缺点

文章出处:【微信号:D1Net11,微信公众号:存储D1net】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    医药仓库温湿度监控系统应用

    。 医药仓库温湿度监控系统,结合物联网、无线通讯等威廉希尔官方网站 ,通过传感器全天候实时采集仓库内的温湿度数据,管理平台对接收到的数据进行深入分析、处
    的头像 发表于 12-17 16:16 118次阅读

    计算在大数据分析中的应用

    和处理大规模的数据集。通过计算平台,用户可以快速构建数据仓库,将海量数据进行存储、管理和分析。这种能力使得企业能够高效地处理PB级别的
    的头像 发表于 10-24 09:18 440次阅读

    微服务架构与容器的关系与区别

    微服务架构与容器密切相关又有所区别。微服务将大型应用拆分为小型、独立的服务,而容器基于容器威廉希尔官方网站 ,为微服务提供构建、发布和运行的平台。区别在于,微服务是架构风格,注重服务拆分与
    的头像 发表于 10-21 17:28 214次阅读

    医药仓库温湿度监控系统

    温湿度监控系统应运而生。 系统概述 医药仓库温湿度监控系统,集成现代信息威廉希尔官方网站 、传感器威廉希尔官方网站 及自动化控制威廉希尔官方网站 ,实现对仓库内环境参数的实时监测、预警与调控,为药品的安全存储保驾护航。 系统主要由硬件设备和管理平台
    的头像 发表于 08-21 12:01 363次阅读

    如何理解计算

    :**用户可以使用计算来开发和部署各种应用程序,通过平台可以提供灵活的计算资源来支持软件开发和部署
    发表于 08-16 17:02

    药品仓库温湿度监控系统

    和有效使用具有重要意义。 药品仓库温湿度监控系统,结合物联网、无线通讯等威廉希尔官方网站 ,主要由传感器、数据采集器、传输设备、管理平台等组成。针对药品仓库的温湿度进行实时监控,及时发现并调整不利
    的头像 发表于 07-26 10:12 348次阅读

    恒温仓库环境监测解决方案

    在当今日益发展的物流仓储行业中,恒温仓库的环境监测与管理已成为确保产品质量和存储安全的关键环节。随着物联网、大数据等威廉希尔官方网站 的不断发展,恒温仓库环境监测解决方案也日趋完善,为仓储行业带来了前所未有的便利
    的头像 发表于 07-23 16:33 265次阅读

    数据仓库数据库的主要区别

    数据仓库数据库是两个在信息威廉希尔官方网站 领域中常见的概念,它们在数据管理和分析方面发挥着重要作用。尽管它们在某些方面有相似之处,但它们在设计、目的和功能上存在显著差异。本文将介绍数据仓库
    的头像 发表于 07-05 14:57 521次阅读

    什么是数据湖?数据湖和数据仓库有什么区别?

    从本质上说,数据湖就是一个信息资源库。人们常常将数据湖与数据仓库混为一谈,但两者在架构和满足的业务需求上都不一样。尤其是,随着社交媒体数据
    的头像 发表于 05-20 12:38 607次阅读
    什么是<b class='flag-5'>数据</b>湖?<b class='flag-5'>数据</b>湖和<b class='flag-5'>数据仓库</b>有什么区别?

    仓库环境温湿度监测系统功能

    仓库环境温湿度监测系统在现代物流管理中扮演着至关重要的角色。以其实时监测、精准分析、预警提醒和节能环保等优势,成为企业保障物资安全、提高仓储效率的重要工具。 仓库环境温湿度监测系统方案,基于
    的头像 发表于 05-17 17:07 494次阅读

    数据中台、数据仓库数据治理与主数据的定位与差异

    在数字化时代,大数据已经成为企业运营和决策的重要资产。为了更好地管理和利用这些数据数据中台、数据仓库数据治理和主
    的头像 发表于 05-08 10:40 432次阅读

    华为制品仓库 CodeArts Artifact:保障制品质量与安全的最佳选择

    近期,为降低用户使用成本、满足个性化选择诉求,华为制品仓库 CodeArts Artifact 从软件开发生产线 CodeArts 解耦出来,可单独购买。这是一款打破了传统制品管理的限制,高效
    的头像 发表于 04-07 11:52 827次阅读
    华为<b class='flag-5'>云</b>制品<b class='flag-5'>仓库</b> CodeArts Artifact:保障制品质量与安全的最佳选择

    仓储仓库广播-仓储仓库无线应急广播对讲智能管理系统建设重点解析

    海特伟业仓储仓库无线应急对讲广播系统是以当前主流的物联网传输为核心,打造的4G无线传输广播管理应用平台,是采用计算的模型分布部署实施的广播系统。
    的头像 发表于 03-06 15:59 585次阅读
    仓储<b class='flag-5'>仓库</b>广播-仓储<b class='flag-5'>仓库</b>无线应急广播对讲智能管理系统建设重点解析

    服务器的maven怎么配置本地仓库

    服务器上使用Maven时,你可以配置本地仓库以缓存和管理依赖项,以减少对中央仓库的依赖和加快构建过程。以下是配置Maven本地仓库的步骤: 1、选择本地
    的头像 发表于 02-22 16:59 517次阅读

    构建高效数据生态:数据库、数据仓库数据湖、大数据平台与数据中台解析_光点科技

    在数字化的浪潮中,一套高效的数据管理系统是企业竞争力的核心。从传统的数据库到现代的数据中台,每一种威廉希尔官方网站 都在数据的旅程中扮演着关键角色。本文将深入探讨
    的头像 发表于 01-17 10:20 368次阅读