Hadoop一体机将挑战传统企业IT团队

本文涉及的产品
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介:
+关注继续查看
文章讲的是Hadoop一体机将挑战传统企业IT团队IT部门通常是以一个个“孤岛”的方式组织起来的,包括数据库管理员、网络工程师、系统管理员以及存储管理员等。Oracle Exadata由于其软硬件集成的架构方式,使得传统的企业IT运营将发生一些变化,同时存在着一定的挑战。

  用不了多久,客户就会了解到Exadata需要一个统一的团队来负责整个机器的管理与运维。而随着越来越多客户使用Hadoop来支撑大数据项目,他们也会面临着同样的困境。

  传统IT运营孤岛使得团队无法有效协作,效率低下,这与Oracle所倡导的简化IT理念是背道而驰的。取而代之,大多数采用Exadata的客户为了简化运营,都选择了建立或者外包一个专门的Exadata管理团队或者数据库一体机管理(DMA)团队。作为预集成的系统,Exadata内部虽然包含了管理以及自动化软件,但它需要的知识储备远比普通DBA要多,这其中包括核心的数据库技能以及网络和存储等硬件技能。

  Hadoop作为大数据的核心技术之一,也同样给企业IT部门造成了挑战,它所需的技能要比Exadata还要更专业,包括深度的硬件、网络、存储和Linux知识,还需要核心的数据管理技能用来构建和运营Hadoop集群。除此之外,成功的大数据项目需要运营团队与开发团队、数据科学家以及业务部门更紧密地协作。

  之所以需要一个特定团队来支撑大数据项目,是因为大数据会涉及到IT系统中的所有组件,并高效运行。我们这里所讨论的是上千个节点以及上万个处理器的规模,即使是10%的效率低下都会造成很严重的影响,近电力能源消耗可能就会让一个企业吃不消。

  把Hadoop集群想象成一个数据超级计算机。Hadoop的组件需要彼此协作以达到最高效,因为即使一个组件出现问题,那么它就会成为整个系统的瓶颈,最终拉低系统的整体性能。更重要的是,团队的职责不仅仅是Hadoop运维,还包括一系列的数据管理以及外部系统整合工作等。

  大数据仍然处于初级阶段。在可以预见的未来,大数据核心技术以及应用仍将以飞快的速度不断变化。数据仓库项目通常包含业务逻辑分析、数据建模、ETL开发、报表开发、数据集市开发以及运营支持等阶段。但一个基于Hadoop的大数据项目不仅包含上述的阶段,还要持续同步地进行,团队成员需要紧密协作。为了大数据项目的最终成功,企业IT部门需要成立一个综合的团队,能够应对大数据每个方面所带来的挑战。


作者:孙瑞 译

来源:IT168

原文链接:Hadoop一体机将挑战传统企业IT团队

相关实践学习
简单用户画像分析
本场景主要介绍基于海量日志数据进行简单用户画像分析为背景,如何通过使用DataWorks完成数据采集 、加工数据、配置数据质量监控和数据可视化展现等任务。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
存储 分布式计算 资源调度
阿里巴巴飞天大数据架构体系与Hadoop生态系统
先说Hadoop 什么是Hadoop? Hadoop是一个开源、高可靠、可扩展的分布式大数据计算框架系统,主要用来解决海量数据的存储、分析、分布式资源调度等。Hadoop最大的优点就是能够提供并行计算,充分利用集群的威力进行高速运算和存储。
9372 1
|
安全 云计算 运维
选型宝访谈:怎样超越超融合,构建新一代企业级云计算平台?
写在前面 企业上云,是最近一两年CIO圈子里最热门的话题之一。在“互联网+”时代,IT云化正成为各行业转型、创新、增长的最新驱动力。另一方面,从传统云架构到超融合,从硬件定义到软件定义,今天越来越成熟的云计算技术也为企业上云提供了坚实的基础。
1276 0
|
存储 分布式计算 监控
基于Hadoop分布式集群搭建政企大数据计算存储服务平台_数道云科技
大数据可以说影响的行业及领域非常广泛,例如:政治、经济、科学、教育、医学、社会研究…………由此也可以证明大数据对于如今的市场来说的重要性以及其发展的趋势。
1441 0
|
大数据 分布式计算 Hadoop
|
存储 分布式计算 关系型数据库
|
大数据 分布式计算 Hadoop
|
存储 安全 大数据
这家公司专注Hadoop系统的数据安全
本文讲的是这家公司专注Hadoop系统的数据安全,近来IT界在热炒数据中心加密这一概念。这类加密技术以数据文件为中心,全程监管它入库前的网际传输。
1280 0
推荐文章
更多