开发者社区> 云栖大讲堂> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

应对大数据挑战 企业需共享式服务模型

简介:
+关注继续查看

本文讲的是应对大数据挑战 企业需共享式服务模型,大数据来袭!当企业准备把自己的MapReduce应用从实验环境迁移到生产环境时,共享式服务模型将为这种迁移提供许多重要功能,并加快迁移步伐。

  大数据是当今科技行业发展速度最快的领域之一。大数据具有前所未有的大量化、快速化和多样化三大特点,这些是许多新技术背后的驱动力,这些技术可帮助企业处理大数据带来的多种新问题。

  在诸多的新兴解决方案中,Hadoop和MapReduce被视为是两种大有希望的方法,可高效管理和分析大数据。但目前针对MapReduce应用的运行时引擎还无法提供足够功能来满足企业希望在生产环境中部署MapReduce应用的实际需求。

  对企业IT部门来说,先进的运行时引擎应该是这样一种管理工具:它可以在满足高标准服务水平协议(SLA)的同时,支持企业里的各业务部门。这类管理工具应该能够支持混合类型的工作负载,包括MapReduce应用及业务部门在共享式网格上智能化提交的其他应用。

  此外,如今的IT部门正在经历重大转变。在许多情况下,IT部门不再只是个成本中心,相反,它被视作是支持企业里各业务部门的服务提供者。预算有限、工作负载需求加大,使得IT部门面临巨大的压力,必须进一步充分利用现有的基础架构,最大限度地提高总的资源利用率。

  让在基础架构方面的投资迅速获得回报是IT部门在做采购决策时最重要的考量因素之一。能充分利用现有的基础架构,满足更高的工作负载需求,并实时动态地满足需求,进一步节省成本,提高投资回报,无疑是企业希望寻找的解决方案。

  为了支持MapReduce应用等新型应用,IT部门迫切需要一种共享式服务运行时平台以获得更好的性能、更高的资源利用率、自动监控和诊断功能,同时也需要IT基础架构能提供更高级的应用生命周期支持。

  何谓共享式服务模型?

  共享式服务模型是指这样一种基础架构平台:它允许多个应用(无论其类型和要求是什么)能够在共享式基础架构上并行执行。共享式服务模型常常由一种先进的应用调度和资源管理引擎来管理,为它所支持的企业里的多个业务部门提供有保障的服务。

  共享式服务IT模型提供以下几个重要好处:

  •少花钱多办事

  •迅速获得基础架构方面的投资回报

  •提供更好的可管理性

  •有更好的可扩展性和灵活性以支持不断变化的应用需求

  •利用收费政策,让IT部门的角色从成本中心转变成盈利中心

  现有的Hadoop MapReduce运行时引擎面临的挑战

  遗憾的是,目前MapReduce运行时引擎的Hadoop实现无法提供上述的共享式服务功能。这归因于Hadoop作业跟踪器(Hadoop JobTracker)的基本架构设计——Hadoop作业跟踪器是一个管理层,在运行期间为MapReduce作业提供必要的服务。

  目前的Hadoop作业跟踪器还无法把作业调度逻辑与资源管理逻辑分离开来,这直接导致了下列重大缺陷:

  •缺少企业级能力。在任何一个时间,只有一个MapReduce应用可以在集群上运行。因而,资源变成了静态的和用途单一的;而应用也是串行执行,而不是并行执行,导致无法有效利用的资源、形成烟囱式的IT环境,限制了可扩展性。

  •作业跟踪器成为单一故障点。如果作业跟踪器出现故障,所有运行中的作业都将停止。

  很显然,目前Hadoop作业跟踪器能力有限,无法提供IT部门在生产级环境中部署MapReduce应用所需的共享式服务功能。

  借助Platform Symphony MapReduce提供共享式服务

  Platform Symphony MapReduce是一种生产级、分布式的运行时引擎,用于管理规模化的大数据应用。Platform Symphony MapReduce为企业运行大数据应用提供了下列独特好处:

  •能够为IT部门带来一种共享式服务平台

  •提高资源利用率,加大基础架构方面的投资回报

  •能够在企业里实现完善的服务水平协议

  •提供更高的性能、缩短获得结果的时间

  •简化IT管理,降低管理复杂IT环境的总成本

  •加强IT敏捷性

  如何部署共享式服务模型?

  企业应该视不同的业务要求使用以下方法部署共享式服务模型:

  1. “烟囱式共享模型”——为不同的业务部门提供有保障的资源。IT部门根据不同业务部门的特定需求,为它们提供有保障的资源。业务部门向集中式IT部门请求一定数量的资源,专门供自己使用。然后,那些请求被定义为策略,加入到资源分配方案中。不同业务部门之间不共享资源。集中式IT部门负责管理资源分配、系统监控和故障排除。

  2. “代理式共享模型”——企业内部跨各职能领域的资源共享。企业内部的不同职能部门共享一组通用的IT资源,资源共享策略根据不同业务部门的特定需求来予以定义,然后加入到资源分配方案中。不是为某个业务部门单独分配静态资源,而是通过动态共享整个基础架构,从而为用户提供有保障的资源。

原文发布时间为:2012-04-23

本文作者:    李隽

本文来自云栖社区合作伙伴IT168,了解相关信息可以关注IT168


版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
云湖共生-释放企业数据价值
摘要:2021云栖大会云原生企业级数据湖专场,阿里云智能资深技术专家、对象存储 OSS 负责人罗庆超为我们带来《云湖共生-释放企业数据价值》的分享。本文主要从数据湖存储演进之路、数据湖存储3.0 进化亮点等方面分享了云湖共生带来的企业价值。
164 0
OA共享服务平台,为集团企业构建一体化协同共享服务体系
OA系统构建了支撑整体企业的财务、人事、法务、行政、IT等共享服务平台,降低营运成本、提升运营效率,支撑集团型企业做大做强…
1878 0
看云栖说云栖——大数据企业服务
DataWorks提供数据集成、数据开发、数据地图、数据质量和数据服务等全方位的大数据开发和管理服务。
555 0
+关注
云栖大讲堂
擅长前端领域,欢迎各位热爱前端的朋友加入我们( 钉钉群号:23351485)关注【前端那些事儿】云栖号,更多好文持续更新中!
3913
文章
1754
问答
文章排行榜
最热
最新
相关电子书
更多
低代码开发师(初级)实战教程
立即下载
阿里巴巴DevOps 最佳实践手册
立即下载
冬季实战营第三期:MySQL数据库进阶实战
立即下载