大数据真的在云计算上的快车上吗?

本文涉及的产品
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
简介:

软件初创厂商AtScale公司去年年底发布了其年度大数据成熟度调查报告(以前称为“Hadoop成熟度调查”),显示商业智能大数据是首要任务,并正处于云计算的快速发展阶段,数据治理越来越受到关注。

该报告及其结果在最近ODPi用户顾问委员会(UAB)的会议上成为了一个主要的讨论话题,ODPi用户顾问委员会(UAB)是由来自汽车,技术和娱乐行业等使用Apache Hadoop和其他大数据技术的大型企业的代表组成。ODPi UAB十分认同报告中所提出的日益增长的数据治理问题。自助服务访问大数据和这种自助服务的治理确实触动了人们的心弦。行业专家讨论了让人们帮助推动自助服务访问政策的概念,这反映出越来越多的数据科学家是业务部门的一部分,而不是IT部门。该小组一致认为,仅持有治理和安全控制的IT目前的状态是不具成本效益的,而自治可能是一种帮助规模使用的策略。

关于云计算中大数据的主题,ODPi UAB在混合云模型中看到了他们的未来。虽然他们认为人们将在未来三年内看到云计算更多的应用,但他们将会在现有投资的基础上开展,而不是完全取代现有的投资。此外,ODPi UAB认为现有的中央处理与本地处理节点相辅相成,以帮助扩大需求,更好地遵守法规。目前,UAB成员看到全面扩展到云计算成本过高,但随着物联网数据本身运行的用例开始增长,云计算将变得更加有趣。

大数据真的在云计算上的快车上吗?

在ODPiUAB阐述之后,然后回到企业自己的使用模式。在本文中将介绍这些使用模式,ODPiUAB提供的见解以及云计算在Hadoop和大数据中的作用的体验。预生产和生产Hadoop之间有明显的区别。

表1概述了随着企业使用情况的变化,运营Hadoop的核心差异。

大数据真的在云计算上的快车上吗?

AtScale公司的报告指出,73%的受访者在使用生产,与2015年同期相比增长了8%。调研机构Gartner公司的业务调查报告为15%以上。由于在数量上有如此大的差异,很明显在行业中部署阶段的基线定义并不明确。UAB和ODPi成员在这里已经提出了这个详细的部署,认为它们与市场准确匹配。

大数据真的在云计算上的快车上吗?
企业Hadoop部署连续性

绘制出适合于连续性的位置,可以更客观地看待生产使用情况。

分析大数据的云计算

虽然72%的受访者表示计划在云端实施大数据,但更深入的分析可能会显示出一些重要的细微差别。UAB成员希捷技术公司企业分析总监Nicholas Berg表示:“要进行深入研究,人们还会问:企业的应用程序和IT在本地部署数据中心和云计算中的比例是多少?企业的大数据在本地部署数据中心和云计算中的比例是多少?最后,企业在云中的实际生产有多少?我敢打赌这个百分比要小得多。”

另一个ODPiUAB成员评论说:“我认为很多公司只是在云中进行概念验证(POC)测试,但仍然在内部数据中心进行生产部署。”UAB认为,这里的主要驱动力是人们认识到IT需要最大限度地降低风险和成本。

这引出了云计算中最大的没有解决的问题:成本。多年来,云计算供应商一直在推动“降低成本和复杂性-走向云”的叙述,“避免服务器采购的资本支出-只是利用云”等等。然而,ODPiUAB明确的一个因素是,当企业扩大规模时,云计算将变得更昂贵。

ODPi UAB一位成员谈到自己的经验,并表示,“最近,我们已经对数字不起作用做了一些成本分析,而不是当人们谈论入口或出口数据量时重新考虑。这就是云供应商的成本真正开始飞涨的地方,因此,当企业完全转向云端时数字不起作用。所以我们仍然在考虑实验的目的,但是没有看到人们如何完全移动到云端,甚至考虑把大量的系统移到那里。我发现云端工作适用于小规模的子集,如果企业愿意,这可能是一种聚合,但是一旦试图进行长期的存储,它将使成本增加的非常快速。”

这是否意味着ODPi UAB成员感觉到Hadoop和云中的大数据是注定失败的,除非成本下降?当然不是。对他们来说,问题在于云计算的叙述,而在场景上,不断被认为是““非此即彼”的讨论,而不是“两者兼用”的讨论。

云计算:物联网数据的用例

ODPi UAB的一位成员分享了一个物联网数据的使用情况,“当企业正在考虑解决某些问题时,将不同区域的数据转移到云计算中处理,云计算开始变得更有意义。当人们开始谈论物联网时尤其如此,企业难道真的想在自己的数据中心运行所有的物联网数据吗?人们查看一下描述的用例,就会发现所有的数据在自己的数据中心将面临一些问题,无论是在数量上还是在法律上。例如德国等一些国家,除非要在这些国家建立数据中心。”而其他专家也赞同这种看法。他说:”我们认为云平台的存在也是一个挑战,特别是作为一家在全球各地设有办事处的全球性公司,如果不想在每个国家和地我建立数据中心,那么采用云计算是一个很好的选择。”

从上述所有ODPi UAB反馈意见来看,很明显,云计算将继续成为Hadoop和大数据的一个组成部分,但与组织的成本和效率需求保持一致。换句话说,就像其他技术转向云端一样,最现实的答案往往在某种形式的混合中。Nicholas Berg说,“我想随着时间的推移,Hadoop将在云中的应用更加广泛,希望其成本结构变得更加合理,事情就会开始转变。我认为这是会发生的,只是时间问题。我们可能总是有某种混合部署,随着经济和用例更好地随着时间的推移,云计算的使用率可能会更高。”

下一件大事

人们生活在行业中,坦率地说是一个世界中-而寻求下一件大事情,将会激发行业人士成长和发展的愿望。行业先锋经常拒绝接受现状,认识到完美从未实现,并总是不断追求。正如Vince Lombardi曾经说过,“完美是无法实现的,但如果我们追求完美,那么我们可以实现卓越。”

话虽如此,有一件很少有成果的事情就是强化创新。顺应技术潮流,应对现代生活的挑战和机遇,如果你听过专业运动员的采访,他们总是会说下一步要达到什么目标,技术也是如此,但规模更大,人们对此并不总是很清楚。


原文发布时间为:2017-10-26 

本文作者:佚名

本文来自云栖社区合作伙伴“51CTO”,了解相关信息可以关注。

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
23天前
|
存储 人工智能 大数据
物联网、大数据、云计算、人工智能之间的关系
物联网、大数据、云计算、人工智能之间的关系是紧密相连、相互促进的。这四者既有各自独立的技术特征,又能在不同层面上相互融合,共同推动信息技术的发展和应用。
185 0
|
1月前
|
算法 大数据 数据库
云计算与大数据平台的数据库迁移与同步
本文详细介绍了云计算与大数据平台的数据库迁移与同步的核心概念、算法原理、具体操作步骤、数学模型公式、代码实例及未来发展趋势与挑战。涵盖全量与增量迁移、一致性与异步复制等内容,旨在帮助读者全面了解并应对相关技术挑战。
37 3
|
3月前
|
分布式计算 并行计算 大数据
【数据挖掘】百度2015大数据云计算研发笔试卷
百度2015年大数据云计算研发笔试卷的题目总结,涵盖了Hadoop、Spark、MPI计算框架特点、TCP连接建立过程、数组最大和问题、二分查找实现以及灯泡开关问题,提供了部分题目的解析和伪代码。
55 1
|
5月前
|
机器学习/深度学习 存储 算法
云计算和大数据处理
云计算和大数据处理
101 1
|
5月前
|
存储 资源调度 大数据
云计算在大数据分析中的弹性资源调度策略
云计算在大数据分析中的弹性资源调度策略
|
16天前
|
存储 安全 网络安全
云计算时代的网络安全挑战与策略
【10月更文挑战第34天】在数字化转型的浪潮中,云计算作为一项关键技术,正深刻改变着企业的运营方式。然而,随着云服务的普及,网络安全问题也日益凸显。本文将探讨云计算环境下的安全挑战,并提出相应的防护策略。
|
6天前
|
监控 安全 网络安全
云计算环境下的网络安全防护策略
在云计算的浪潮下,企业和个人用户纷纷将数据和服务迁移到云端。这种转变带来了便利和效率的提升,同时也引入了新的安全挑战。本文将探讨云计算环境中网络安全的关键问题,并介绍一些实用的防护策略,帮助读者构建更为安全的云环境。
|
12天前
|
存储 安全 网络安全
云计算与网络安全:探索云服务中的信息安全策略
【10月更文挑战第39天】随着云计算的飞速发展,越来越多的企业和个人将数据和服务迁移到云端。然而,随之而来的网络安全问题也日益突出。本文将从云计算的基本概念出发,深入探讨在云服务中如何实施有效的网络安全和信息安全措施。我们将分析云服务模型(IaaS, PaaS, SaaS)的安全特性,并讨论如何在这些平台上部署安全策略。文章还将涉及最新的网络安全技术和实践,旨在为读者提供一套全面的云计算安全解决方案。
|
10天前
|
存储 安全 网络安全
云计算与网络安全:云服务、网络安全、信息安全等技术领域
【10月更文挑战第40天】随着互联网技术的不断发展,云计算已经成为了现代社会中不可或缺的一部分。然而,云计算的普及也带来了一系列的安全问题。本文将探讨云计算与网络安全之间的关系,包括云服务、网络安全、信息安全等领域。我们将通过代码示例来展示如何保护云计算环境中的敏感信息和数据。最后,我们将总结云计算与网络安全之间的紧密联系,并展望未来的发展趋势。
|
12天前
|
云安全 安全 网络安全
云计算与网络安全:技术挑战与解决策略
【10月更文挑战第39天】随着云计算技术的飞速发展,网络安全问题也日益凸显。本文将探讨云计算环境下的网络安全挑战,并提出相应的解决策略。通过分析云服务模型、网络安全威胁以及信息安全技术的应用,我们将揭示如何构建一个安全的云计算环境。
下一篇
无影云桌面