用不了多久,客户就会了解到Exadata需要一个统一的团队来负责整个机器的管理与运维。而随着越来越多客户使用Hadoop来支撑大数据项目,他们也会面临着同样的困境。
传统IT运营孤岛使得团队无法有效协作,效率低下,这与Oracle所倡导的简化IT理念是背道而驰的。取而代之,大多数采用Exadata的客户为了简化运营,都选择了建立或者外包一个专门的Exadata管理团队或者数据库一体机管理(DMA)团队。作为预集成的系统,Exadata内部虽然包含了管理以及自动化软件,但它需要的知识储备远比普通DBA要多,这其中包括核心的数据库技能以及网络和存储等硬件技能。
Hadoop作为大数据的核心技术之一,也同样给企业IT部门造成了挑战,它所需的技能要比Exadata还要更专业,包括深度的硬件、网络、存储和Linux知识,还需要核心的数据管理技能用来构建和运营Hadoop集群。除此之外,成功的大数据项目需要运营团队与开发团队、数据科学家以及业务部门更紧密地协作。
之所以需要一个特定团队来支撑大数据项目,是因为大数据会涉及到IT系统中的所有组件,并高效运行。我们这里所讨论的是上千个节点以及上万个处理器的规模,即使是10%的效率低下都会造成很严重的影响,近电力能源消耗可能就会让一个企业吃不消。
把Hadoop集群想象成一个数据超级计算机。Hadoop的组件需要彼此协作以达到最高效,因为即使一个组件出现问题,那么它就会成为整个系统的瓶颈,最终拉低系统的整体性能。更重要的是,团队的职责不仅仅是Hadoop运维,还包括一系列的数据管理以及外部系统整合工作等。
大数据仍然处于初级阶段。在可以预见的未来,大数据核心技术以及应用仍将以飞快的速度不断变化。数据仓库项目通常包含业务逻辑分析、数据建模、ETL开发、报表开发、数据集市开发以及运营支持等阶段。但一个基于Hadoop的大数据项目不仅包含上述的阶段,还要持续同步地进行,团队成员需要紧密协作。为了大数据项目的最终成功,企业IT部门需要成立一个综合的团队,能够应对大数据每个方面所带来的挑战。
作者:孙瑞 译
来源:IT168
原文链接:Hadoop一体机将挑战传统企业IT团队