新时代,大数据战略和DevOps更配

简介: 文章讲的是新时代,大数据战略和DevOps更配,从大数据中获得有价值的洞察是每个企业的愿望,但是无奈理想很丰满,现实很骨感,再加上大数据软件开发人员和IT操作缺乏企业的协调,这也使得从大数据中获得洞察变得更加困难。
文章讲的是 新时代,大数据战略和DevOps更配从大数据中获得有价值的洞察是每个企业的愿望,但是无奈理想很丰满,现实很骨感,再加上大数据软件开发人员和IT操作缺乏企业的协调,这也使得从大数据中获得洞察变得更加困难。还有的企业在其支持的 其它 项目中可能采用了良好的DevOps策略,但是大数据项目往往因为各种原因没有采用。

  接下来,本文将来探讨一下DevOps是什么、为什么大数据项目团队不使用DevOps方法、使用DevOps的好处以及将大数据迁移到DevOps模型时可能会面临的挑战。

新时代,大数据战略和DevOps更配
▲图片来源于informationweek

  什么是DevOps?

  首先我们先来了解一下DevOps是什么?为什么它会如此受欢迎?DevOps的主要目的是消除软件开发人员和IT基础架构管理员之间的孤岛,以确保每个人都可以专注于单一的目标。中间有一些交叉的训练可以会包含所有人都能理解的使用过程很多术语,但是一旦训练完成,双方又可以各自以清晰的方向继续改进。然后两个团队一起测试环境、调整生产基础架构组件以满足新的软件需求,并最终更快速地为终端用户提供软件修复和功能。

  为什么大数据项目不喜欢采用DevOps

  IT领导者放弃DevOps的主要原因是大数据科学(特别是大数据的分析科学部分)的复杂性。数据科学是一个比较新的领域,大部分的专家都是外国人,国内的数据专家很少,所以这也导致了分析师无法和大数据开发商协同合作。

  为什么大数据需要DevOps

  由于分析师和大数据开发商的分离,DevOps在解决其他效率低下的项目中遇到的瓶颈照样会出现在大数据项目中。由于某些大数据项目会比预期的难度更大,所以IT领导者迫于压力会越来越想要早点得到结果,同时这也迫使分析科学家不断改进他们的算法。而分析模型发生的变化往往会和最初的基础设施和资源需求有很大的出入,在这个改变的过程中,运营团队一直被排除在外,所以当基础设施更改需求给到开发人员的时候,你就会发现通信和资源的分配滞后会减缓进度,而且这种放缓会影响大数据分析的潜在竞争优势。这也就是为什么大数据需要DevOps的原因。

  集成大数据和DevOps时的挑战

  如果你决定把大数据项目迁移到DevOps模型,就一定要了解你将面临的哪些挑战。 例如,如何快速打造探索分析和深度分析的大数据平台。

  另外,大多数的专业分析人士都认为自己是社会工程师,而不是数据工程师,所以会有自己要学习的事情。如果在你的DevOps计划中速度是很关键的部分,那么资源协调是至关重要的。还有,大数据DevOps的高效运行还需要额外的人力资源,因为DevOps的价值并不是员工的减少,而是发掘应用程序的潜能。

  大数据和DevOps集成的收益远远超过任何其他集成。效率和利益的协调有助于简化流程,加快实时分析变更的能力,从而更有效地利用所挖掘的数据。


作者: 田晓旭编译

来源:IT168

原文链接:新时代,大数据战略和DevOps更配

相关实践学习
基于MaxCompute的热门话题分析
Apsara Clouder大数据专项技能认证配套课程:基于MaxCompute的热门话题分析
相关文章
|
机器学习/深度学习 人工智能 算法
【机器学习】机器学习与AI大数据的融合:开启智能新时代
【机器学习】机器学习与AI大数据的融合:开启智能新时代
|
存储 人工智能 供应链
新时代火热技术栈:大数据->人工智能(AI)->区块链
新时代火热技术栈:大数据->人工智能(AI)->区块链
新时代火热技术栈:大数据->人工智能(AI)->区块链
|
Hbase 分布式数据库 Serverless
1元包年,阿里云HBase Serverless开启大数据学习与测试的新时代
阿里云HBase Serverless 版是基于HBase,使用Serverless架构构建的一套新型的HBase 服务。 阿里云HBase Serverless版真正把HBase变成了一个服务,用户无需提前规划资源,选择CPU,内存资源数量,购买集群。在应对业务高峰,业务空间增长时,也无需进行扩容
5128 0
1元包年,阿里云HBase Serverless开启大数据学习与测试的新时代
|
存储 SQL 分布式计算
鱼和熊掌可以兼得,云原生开启“数据库大数据一体化”新时代
10月23日数据湖高峰论坛上,阿里巴巴集团副总裁、阿里云智能数据库产品事业部负责人、达摩院数据库与存储实验室负责人李飞飞表示:“云原生作为云计算领域的关键技术与基础创新,正在加速数据分析全面进入数据库大数据一体化时代”。
4285 0
鱼和熊掌可以兼得,云原生开启“数据库大数据一体化”新时代
|
5月前
|
机器学习/深度学习 传感器 分布式计算
数据才是真救命的:聊聊如何用大数据提升灾难预警的精准度
数据才是真救命的:聊聊如何用大数据提升灾难预警的精准度
401 14