新时代,大数据战略和DevOps更配

本文涉及的产品
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介: 文章讲的是新时代,大数据战略和DevOps更配,从大数据中获得有价值的洞察是每个企业的愿望,但是无奈理想很丰满,现实很骨感,再加上大数据软件开发人员和IT操作缺乏企业的协调,这也使得从大数据中获得洞察变得更加困难。
文章讲的是 新时代,大数据战略和DevOps更配从大数据中获得有价值的洞察是每个企业的愿望,但是无奈理想很丰满,现实很骨感,再加上大数据软件开发人员和IT操作缺乏企业的协调,这也使得从大数据中获得洞察变得更加困难。还有的企业在其支持的 其它 项目中可能采用了良好的DevOps策略,但是大数据项目往往因为各种原因没有采用。

  接下来,本文将来探讨一下DevOps是什么、为什么大数据项目团队不使用DevOps方法、使用DevOps的好处以及将大数据迁移到DevOps模型时可能会面临的挑战。

新时代,大数据战略和DevOps更配
▲图片来源于informationweek

  什么是DevOps?

  首先我们先来了解一下DevOps是什么?为什么它会如此受欢迎?DevOps的主要目的是消除软件开发人员和IT基础架构管理员之间的孤岛,以确保每个人都可以专注于单一的目标。中间有一些交叉的训练可以会包含所有人都能理解的使用过程很多术语,但是一旦训练完成,双方又可以各自以清晰的方向继续改进。然后两个团队一起测试环境、调整生产基础架构组件以满足新的软件需求,并最终更快速地为终端用户提供软件修复和功能。

  为什么大数据项目不喜欢采用DevOps

  IT领导者放弃DevOps的主要原因是大数据科学(特别是大数据的分析科学部分)的复杂性。数据科学是一个比较新的领域,大部分的专家都是外国人,国内的数据专家很少,所以这也导致了分析师无法和大数据开发商协同合作。

  为什么大数据需要DevOps

  由于分析师和大数据开发商的分离,DevOps在解决其他效率低下的项目中遇到的瓶颈照样会出现在大数据项目中。由于某些大数据项目会比预期的难度更大,所以IT领导者迫于压力会越来越想要早点得到结果,同时这也迫使分析科学家不断改进他们的算法。而分析模型发生的变化往往会和最初的基础设施和资源需求有很大的出入,在这个改变的过程中,运营团队一直被排除在外,所以当基础设施更改需求给到开发人员的时候,你就会发现通信和资源的分配滞后会减缓进度,而且这种放缓会影响大数据分析的潜在竞争优势。这也就是为什么大数据需要DevOps的原因。

  集成大数据和DevOps时的挑战

  如果你决定把大数据项目迁移到DevOps模型,就一定要了解你将面临的哪些挑战。 例如,如何快速打造探索分析和深度分析的大数据平台。

  另外,大多数的专业分析人士都认为自己是社会工程师,而不是数据工程师,所以会有自己要学习的事情。如果在你的DevOps计划中速度是很关键的部分,那么资源协调是至关重要的。还有,大数据DevOps的高效运行还需要额外的人力资源,因为DevOps的价值并不是员工的减少,而是发掘应用程序的潜能。

  大数据和DevOps集成的收益远远超过任何其他集成。效率和利益的协调有助于简化流程,加快实时分析变更的能力,从而更有效地利用所挖掘的数据。


作者: 田晓旭编译

来源:IT168

原文链接:新时代,大数据战略和DevOps更配

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
5月前
|
机器学习/深度学习 人工智能 算法
【机器学习】机器学习与AI大数据的融合:开启智能新时代
【机器学习】机器学习与AI大数据的融合:开启智能新时代
168 1
|
存储 人工智能 供应链
新时代火热技术栈:大数据->人工智能(AI)->区块链
新时代火热技术栈:大数据->人工智能(AI)->区块链
新时代火热技术栈:大数据->人工智能(AI)->区块链
|
Hbase 分布式数据库 Serverless
1元包年,阿里云HBase Serverless开启大数据学习与测试的新时代
阿里云HBase Serverless 版是基于HBase,使用Serverless架构构建的一套新型的HBase 服务。 阿里云HBase Serverless版真正把HBase变成了一个服务,用户无需提前规划资源,选择CPU,内存资源数量,购买集群。在应对业务高峰,业务空间增长时,也无需进行扩容
4780 0
1元包年,阿里云HBase Serverless开启大数据学习与测试的新时代
|
存储 SQL 分布式计算
鱼和熊掌可以兼得,云原生开启“数据库大数据一体化”新时代
10月23日数据湖高峰论坛上,阿里巴巴集团副总裁、阿里云智能数据库产品事业部负责人、达摩院数据库与存储实验室负责人李飞飞表示:“云原生作为云计算领域的关键技术与基础创新,正在加速数据分析全面进入数据库大数据一体化时代”。
4139 0
鱼和熊掌可以兼得,云原生开启“数据库大数据一体化”新时代
|
1月前
|
存储 机器学习/深度学习 分布式计算
大数据技术——解锁数据的力量,引领未来趋势
【10月更文挑战第5天】大数据技术——解锁数据的力量,引领未来趋势