云数据仓库对企业具有巨大的潜力

简介:

云数据仓库让企业梦想成长,希望可以仿效网络规模的成功,但是他们的野心超越了现实,因为他们想要管理不同的环境。

很多企业的IT团队计划通过公共云中的数据存储库来改善业务。向前发展的IT商店以及推动廉价存储的供应商在下一轮商业智能中看到了巨大的潜力,它将使用一系列基于云计算的服务来利用不断增长的结构化和非结构化数据的缓存。尽管如此,这种模式的最大收益仍然在很大程度上是假设性的,因为大多数企业在架构和文化上仍处于探索阶段。

对于想要走这条路线的IT商店,通常拥有一系列管理产品,包括Amazon Redshift,谷歌云平台的的Big Query和微软AzureSQL数据仓库。这些数据仓库通过与相关服务的更多抽象和集成来继续简化数据挖掘,这在某些情况下,无需调出实例。最终目标是针对各种规模的公司,效仿那些强调自动化和从数据收集中挖掘出更多信息的网络规模企业的成功。

笛卡尔实验室是位于美国纽约州洛斯阿拉莫斯市的卫星图像公司,在将其主要业务转移到谷歌云平台之前,已将其内部部署数据中心和云端的大型数据工具进行了结合。该公司存储大量原始数据,因为它并不总是知道客户会问什么问题。现在,该公司很大程度上依赖谷歌的BigQuery,Bigtable和对象存储来满足这些需求。

笛卡尔实验室联合创始人Tim Kelton表示,这一转变是以开发人员为中心的方法的一部分,员工们为了解决这个问题而将会选择最佳工具。

“最大的变化可能在微观服务中,很多不同的团队可以在两分钟内开始实施一些事情,并说,‘这是我们正在努力工作的情景吗?’而不仅仅是说,‘采用的解决方案是Oracle SQL,而且一切仍需要更多的努力。’”Kelton说。

企业已经开始将大量的原始数据库以及更传统的数据仓库纳入数据湖。同时,云计算已经成为托管数据的可行的地方,这也是在不用大量资本投资的情况下对多结构化数据进行高级分析的空间。

调研机构Gartner公司研究总监Adam Ronthal表示:“它反映出更大的愿望,能够适应我们以前无法真正驾驭的数据,或者没有技术或能力可以利用的数据类型。”

云数据仓库服务是服务提供商和客户的福音。那些超大规模平台(亚马逊网络服务(AWS),微软Azure和Google云平台)提供了成本相对低廉的存储空间,以利用数据库和其他关键系统带来的工作负载。在那里,他们的定位是出售一系列更高层次的服务,这被视为云计算的未来。

美国在线(AOL)公司采用AmazonEMR取代了Cloudera Hadoop环境,与现有设备相比,节省了大量资金;它现在将有效载荷存储在Amazon简单存储服务中,并根据需要使用EC2 Spot Instances来运行和拆除节点。下一步将是与其他AWS工具集成,例如用于基于触发器的功能的Lambda和用于流数据的Kinesis Firehose。因此,美国在线公司通过这些工具希望实现更高的效率和库存控制。

美国在线首席信息官詹姆斯·拉普莱恩表示:“由于建立了更高层次的服务,我们看到还有更多可以做的事情。

企业通往云端数据仓库更加顺畅

然而,这些更高层次的服务可能是一个相当棘手的问题。出口成本可能令人望而却步,客户应尽可能多地使用云端数据,以最大限度地利用这些专有服务。因此,尽管云端数据仓库对于可以在其选择的平台上重新开始的初创公司来说是非常有用的,但它可能会在转型期间为企业带来无数挑战。

内部结构化数据通常必须被清理或重写。而且,由于这个原因,美国在线与像同样情况下的许多其他公司一样,选择保留大部分历史数据。这些企业还必须扩大规模,以处理传统上位于本地数据中心下的大量较旧的数据集。在这些情况下,IT专业人员不仅要考虑计算和存储的成本,还要考虑网络的成本,因为扩展对存储的访问的成本可能会非常昂贵。

其他公司,如纽约时报,在不同的公共云中有工作负载。泰晤士报数据工程执行总监马特·迪根表示:“如果数据和应用等一切都在同一个地方,这样一来就简单得多,所以我们不必拥有Redshift集群,并且在Big Query中也有数据。而加入这两个数据集并不容易。”

企业IT商店也需要不同的技能,必须为文化变革做好准备。Gartner分析师Ted Chamberlin说,除了那些具有全球规模的公司可以实施,对于习惯于传统基础设施的人来说,这是不现实的。

Chamberlin说:“对于一般企业来说,这是非常有希望的,但大多数将要有两到三年的时间来改变他们的企业,摈弃他们不想要的东西。”

绑定到数据仓库的未来云计算

尽管存在这些挑战,已经开始将数据仓库迁移到公共云的企业看到了一个巨大的回报。

过去,纽约时报建立了自己的Hadoop集群和数据仓库,其中包括Informatica,Oracle和AWS等许多供应商。这种方法的一部分问题是数据太孤立或太具技术性。纽约时报正在将业务迁移到谷歌云平台,谷歌云平台最终希望成为该数据的一个单独的容器。这也使得一系列雇员使用分析工具变得更加简单。

在过去,纽约时报建立了自己的Hadoop集群和用于数据仓库,许多厂商包括Informatica、Oracle和AWS。这种方法的问题是数据太简单或太技术。纽约时报正在迁移到谷歌云平台,它最终希望成为该数据的一个单独的容器。这也使得一系列雇员使用分析工具变得更加简单。

Digan说:“我们的目标是向用户提供数据,无论是数据分析师,数据科学家,还是那些需要尽可能快速准确地了解某些内容的人员。”

泰晤士报计划让整个企业采用这个系统,并将所有内容放入BigQuery,以获得其读者的统一视图。Digan表示,他设想使用数据服务,机器学习模型和API来构建内部和外部产品,这将使该公司能够更深入地了解其读者和销售情况,反过来为读者提供更个性化的体验。泰晤士报确定了其要求其数据正确的问题,这让技术人员感到振奋,但这不是一朝一夕能够做好的事情。

“这是我们要去学习的东西,”Digan说。“现在探索很容易,所以当分析人员查询时,他们可以自己查询这些结果,但是我们不太了解我们将要进入的一切。”

本文转自d1net(转载)

相关文章
|
6月前
|
存储 自然语言处理 Cloud Native
云数据仓库ADB问题之全文索引检索字段过长时条件会失效如何解决
云数据仓库AnalyticDB是阿里云提供的一种高性能、弹性扩展的云原生数据仓库解决方案;本合集将深入探讨ADB的架构、性能调优、数据管理和应用场景等,以及如何解决在使用过程中可能出现的问题,提高数据仓库的使用效率。
136 4
|
6月前
|
SQL 运维 Cloud Native
云数据仓库ADB问题之数据导出失败如何解决
云数据仓库AnalyticDB是阿里云提供的一种高性能、弹性扩展的云原生数据仓库解决方案;本合集将深入探讨ADB的架构、性能调优、数据管理和应用场景等,以及如何解决在使用过程中可能出现的问题,提高数据仓库的使用效率。
145 2
|
6月前
|
分布式计算 运维 数据挖掘
MaxCompute是一个强大的云数据仓库服务
【4月更文挑战第1天】MaxCompute是一个强大的云数据仓库服务
100 1
|
3月前
|
存储 数据管理 BI
揭秘数据仓库的奥秘:数据究竟如何层层蜕变,成为企业决策的智慧源泉?
【8月更文挑战第26天】数据仓库是企业管理数据的关键部分,其架构直接影响数据效能。通过分层管理海量数据,提高处理灵活性及数据一致性和安全性。主要包括:数据源层(原始数据)、ETL层(数据清洗与转换)、数据仓库层(核心存储与管理)及数据服务层(提供分析服务)。各层协同工作,支持高效数据管理。未来,随着技术和业务需求的变化,数仓架构将持续优化。
78 3
|
6月前
|
存储 机器学习/深度学习 数据采集
【专栏】在数字化时代,数据仓库和数据湖成为企业管理数据的关键工具
【4月更文挑战第27天】在数字化时代,数据仓库和数据湖成为企业管理数据的关键工具。数据仓库是经过规范化处理的结构化数据集合,适合支持已知业务需求;而数据湖存储原始多类型数据,提供数据分析灵活性。数据仓库常用于企业决策、财务分析,而数据湖适用于大数据分析、机器学习和物联网数据处理。企业需根据自身需求选择合适的数据存储方式,以挖掘数据价值并提升竞争力。理解两者异同对企业的数字化转型至关重要。
135 2
|
3月前
|
SQL 数据挖掘 数据处理
“惊!云数据仓库ADB竟能这样玩?UPDATE语句单表、多表关联更新,一键解锁数据处理新境界!”
【8月更文挑战第7天】云数据仓库ADB提供高性能数据分析服务,支持丰富的SQL功能,包括关键的UPDATE语句。UPDATE可用于单表更新,如简单地增加员工薪资;亦支持多表关联更新,实现复杂数据关系处理。例如,结合departments表更新sales部门员工薪资。使用时需确保关联条件准确,考虑事务管理保证数据一致性,并优化性能以提升大规模更新效率。合理运用UPDATE增强数据仓库实用性和灵活性。
71 0
|
6月前
|
Cloud Native 关系型数据库 MySQL
云原生数据仓库产品使用合集之在云数据仓库ADB中,GROUP BY操作中出现NULL值,如何解决
阿里云AnalyticDB提供了全面的数据导入、查询分析、数据管理、运维监控等功能,并通过扩展功能支持与AI平台集成、跨地域复制与联邦查询等高级应用场景,为企业构建实时、高效、可扩展的数据仓库解决方案。以下是对AnalyticDB产品使用合集的概述,包括数据导入、查询分析、数据管理、运维监控、扩展功能等方面。
|
6月前
|
关系型数据库 专有云 MySQL
云数据仓库ADB问题之查询特慢如何解决
云数据仓库AnalyticDB是阿里云提供的一种高性能、弹性扩展的云原生数据仓库解决方案;本合集将深入探讨ADB的架构、性能调优、数据管理和应用场景等,以及如何解决在使用过程中可能出现的问题,提高数据仓库的使用效率。
111 6
|
6月前
|
SQL 监控 Cloud Native
云数据仓库ADB问题之创建物化视图时报错SQL错误如何解决
云数据仓库AnalyticDB是阿里云提供的一种高性能、弹性扩展的云原生数据仓库解决方案;本合集将深入探讨ADB的架构、性能调优、数据管理和应用场景等,以及如何解决在使用过程中可能出现的问题,提高数据仓库的使用效率。
|
6月前
|
Cloud Native 数据管理 OLAP
云数据仓库ADB问题之首次查询很慢如何解决
云数据仓库AnalyticDB是阿里云提供的一种高性能、弹性扩展的云原生数据仓库解决方案;本合集将深入探讨ADB的架构、性能调优、数据管理和应用场景等,以及如何解决在使用过程中可能出现的问题,提高数据仓库的使用效率。
108 5

热门文章

最新文章

下一篇
无影云桌面