开源模式下的云计算和大数据现状

本文涉及的产品
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介:
开源”模式带来的好处很多,其中最吸引人的就是可以帮助企业降低成本。另外,开源模式消除了供应商的限制和壁垒,并且可让技术变得更加协作,合作者会不断更新开源软件,使技术得到持续的完善和发展。云计算和大数据目前都是热门话题,两者的发展与开源技术的结合,及如何在云上实现大数据项目,都是新的实践领域。
400081521_wx

开源云计算现状

云计算发展到今天,已经成为企业IT基础设施的主流选择;以Docker为代表的Container技术,也推动着云计算在PaaS层面的发展;而SaaS应用更是方兴未艾。云计算已经从概念走向实际应用,且将愈加促进信息化、工业化的整合进程。

敏捷、灵活、可定制,这是各大公司在解释他们为什么投资云计算时最爱提到的三个词。与此同时,当今领先的云供应商虽然心中想着最佳的技术利益,但从财务权益方面来考虑,却阻止他们提供开放的云环境。因此,在这个企业IT“云”化的过程中,开源技术正在成为未来的重要选择。

开源云计算带来的好处很多,其中最吸引人的就是可以帮助企业降低成本。另外,开源模式消除了供应商的限制和壁垒,并且可让技术变得更加协作,合作者会不断更新开源软件,使该技术得到持续的完善和发展。

有关开源云计算的系统、产品与服务正得到不断地创新推出。以目前拥有最多传统IT巨头支持的云架构开源项目OpenStack为例,在国内外都受到了普遍关注。在OpenStack基金会发布的白皮书中显示,OpenStack在实际生产环境的部署已得到大幅提升,并且在传统行业的渗透已经呈现规模化趋势,在制造业、能源、零售、医疗、交通、保险、媒体等行业长势喜人。从全球用户活跃度来看,欧洲和亚洲力量凸显,中国用户在其贡献排行榜上居于前茅。

然而,任何事情都是一把双刃剑,目前的开源云也同样存在着明显的缺点。比供应商的独立缺乏支持、开源云工具的支持问题有待进一步解决。另外,像OpenStack、Docker等时下流行的开源云计算应用,都存在着技术成熟度欠缺、缺乏完整性等问题。

开源大数据现状

移动互联网、云计算等技术的快速水之土日,使全球数据量得到爆炸性增长,大数据时代已经全面到来。从庞杂的数据背后挖掘、分析用户的行为习惯和喜好,找出更符合用户“口味”的产品和服务,并结合用户需求有针对性地调整和优化自身,这就是大数据技术所带来的巨大价值。

而面对庞大的业务、海量的数据都在不断的增长,几乎没有任何一家传统的商业方案能够独立解决这些业务。企业内部的“合作”已经成为局限,要想应对这些,需要更多的力量,这无疑给开源模式带来了新的机遇和挑战。开源浪潮之所以风生水起,是因为成本低、灵活性强,又有受过培训的人员,帮助使业更好地挖掘隐藏在大数据当中的价值。

Hadoop无疑是目前大数据领域中最热的开源技术,它承诺能够降低成本同时获得企业级的IT自由度。 Hadoop、R和NoSQL现在是许多企业制定的大数据战略的三大支柱,无论这些战略是管理非结构化数据,还是对非结构化数据进行复杂的统计分析。这些开源技术平台与专有软件相比的一个优势就在于,于它们能够更快速地改进。而且它们也得到许多不同机构的不断开发和完善。Hadoop已经变得无处不在,EMC、戴尔、IBM、甚至微软都已经开始跻身Hadoop阵营。

大数据领域的另一位生力军Spark现在也是名声大噪,作为通用的并行处理框架,Spark具有类似Hadoop的一些优点,而且Spak在迭代计算上具有比Hadoop更高的效率,还提供了更为广泛的数据集操作类型的开发等等。众多优越的性能和比Hadoop更广泛的适用面让Spark的进一步发展值得期待。

结语

综上所述,开源模式确实为企部和开发者署云环境创造了条件,推动了云技术的发展。但是,站在用户的角度看,特别是不具备软件开发、运维能力的传统企业,大规模采用开源云项目仍然存在一定的风险。另外,开源的开放所带来的一大弊端就是安全问题。也正是出于对这种风险的考虑,目前有很多大数据项目都没有放在云环境中运行。

但是,不管怎样,云计算与大数据在应用中产生的价值是有目共睹的,两者之间的结合,远比相互分离要好得多。而在选择云计算及大数据的平台时,企业一定要结合自己的实际情况和需求来选择适合自己的云计算平台,避免单纯为了开源、为了云而做出盲目的选择。当然从长远考虑,与开源想法搭起桥梁要比试图对开源想法视若无明智得多。


原文发布时间为:2018-06-6

本文来自云栖社区合作伙伴“企业网D1Net”,了解相关信息可以关注“企业网D1Net”。

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
1月前
|
人工智能 边缘计算 云计算
2024.11|云计算行业的商业模式创新方法及实践
截至2024年,全球云计算行业迈入全新阶段,从IaaS到大规模AI模型平台,技术与商业模式不断创新。本文分析全球最新技术进展,探讨云计算商业模式创新策略与实践,解析云服务厂商如何通过技术革新实现价值最大化,推动企业数字化与智能化转型。重点讨论AI与云计算的深度融合、边缘计算与去中心化发展、平台化与生态系统建设,以及数据安全与绿色云计算等关键议题。
91 30
|
1月前
|
机器学习/深度学习 存储 大数据
云计算与大数据技术的融合应用
云计算与大数据技术的融合应用
|
1月前
|
存储 弹性计算 分布式计算
云计算在大数据处理中的优势与挑战
云计算在大数据处理中的优势与挑战
|
1月前
|
存储 人工智能 大数据
物联网、大数据、云计算、人工智能之间的关系
物联网、大数据、云计算、人工智能之间的关系是紧密相连、相互促进的。这四者既有各自独立的技术特征,又能在不同层面上相互融合,共同推动信息技术的发展和应用。
488 0
|
1月前
|
SQL 存储 算法
基于对象 - 事件模式的数据计算问题
基于对象-事件模式的数据计算是商业中最常见的数据分析任务之一。对象如用户、账号、商品等,通过唯一ID记录其相关事件,如操作日志、交易记录等。这种模式下的统计任务包括无序计算(如交易次数、通话时长)和有序计算(如漏斗分析、连续交易检测)。尽管SQL在处理无序计算时表现尚可,但在有序计算中却显得力不从心,主要原因是其对跨行记录运算的支持较弱,且大表JOIN和大结果集GROUP BY的性能较差。相比之下,SPL语言通过强化离散性和有序集合的支持,能够高效地处理这类计算任务,避免了大表JOIN和复杂的GROUP BY操作,从而显著提升了计算效率。
|
2月前
|
算法 大数据 数据库
云计算与大数据平台的数据库迁移与同步
本文详细介绍了云计算与大数据平台的数据库迁移与同步的核心概念、算法原理、具体操作步骤、数学模型公式、代码实例及未来发展趋势与挑战。涵盖全量与增量迁移、一致性与异步复制等内容,旨在帮助读者全面了解并应对相关技术挑战。
54 3
|
2月前
|
SQL 存储 算法
基于对象 - 事件模式的数据计算问题
基于对象-事件模式的数据计算是商业中最常见的数据分析任务之一。这种模式涉及对象(如用户、账户、商品等)及其相关的事件记录,通过这些事件数据可以进行各种统计分析,如漏斗分析、交易次数统计等。然而,SQL 在处理这类任务时表现不佳,特别是在有序计算方面。SPL 作为一种强化离散性和有序集合的语言,能够高效地处理这类计算,避免了大表 JOIN 和大结果集 GROUP BY 的性能瓶颈。通过按 ID 排序和分步计算,SPL 能够显著提高计算效率,并支持实时数据处理。
|
2月前
|
分布式计算 大数据 分布式数据库
大数据-158 Apache Kylin 安装配置详解 集群模式启动(一)
大数据-158 Apache Kylin 安装配置详解 集群模式启动(一)
49 5
|
1月前
|
存储 分布式计算 数据挖掘
数据架构 ODPS 是什么?
数据架构 ODPS 是什么?
290 7
|
1月前
|
存储 分布式计算 大数据
大数据 优化数据读取
【11月更文挑战第4天】
44 2
下一篇
DataWorks