打造端到端大数据解决方案-阿里云开发者社区

开发者社区> 大数据> 正文

打造端到端大数据解决方案

简介:

中国移动大数据平台产品研发和应用实践项目立志于研发通用的、提供端到端大数据处理能力的大数据平台,打造中国移动在Hadoop大数据产品族之上的自研大数据平台产品,提供完善的大数据能力与完整的大数据解决方案,提升现网大数据系统的平台能力,为中国移动IT系统的大数据平台建设打下坚实的基础。

“大云”大数据平台是集安全、数据采集、存储和处理、能力和应用以及运维和运营管理为一体的大数据平台产品。其核心组件包括大云Hadoop数据平台(BC-Hadoop)、“大云”大数据仓库系统(BC-HugeTable)、大云大数据运营管理平台(BC-BDOC)等。

“大云”大数据平台已先后被应用于多个单位、部门的42个项目,在生产系统中部署了超过1000台服务器。目前,依托“大云”大数据平台,应用单位的多项大数据相关业务已完成迁移,由“大云”大数据平台提供对数据采集到存储和处理等大数据场景的全面支持。

成果的创新性与优越性

“大云”大数据平台提供了完善的大数据能力,其中的子产品可分为三类:基础组件产品(如大云Hadoop数据平台BC-Hadoop)、大云大数据运营管理平台产品(BC-BDOC)和应用产品(如大云互联网采集系统)。其中,“大云”大数据运营管理平台产品BC-BDOC提供大数据运营管理、数据管理和安全管理的功能,是核心产品之一。

技术层面上,“大云”大数据运营管理平台BC-BDOC提供了基础大数据产品之上全面化的平台能力,解决了开源大数据基础组件提供的多租户能力不足的问题。

应用层面上,将包括“大云”大数据运营管理平台BC-BDOC在内的大数据平台产品运用于各个省公司的大数据平台建设,为其解决了不同部门不同应用间的资源隔离、资源统一分配、服务申请、数据共享等问题。

“大云”大数据运营管理平台BC-BDOC带来了一套大数据平台代替传统的多个小集群的模式,实现一套大数据平台部署多项应用,并做到资源合理分配,消除应用之间的影响,有效降低成本,提高集群的资源利用率。

成果的经济效益与社会效益

应用单位和部门依托提供的完善的大数据能力以及资源隔离、资源统一分配、服务申请、数据共享等功能,有效地避免了冗余大数据集群的建设,节约投资约2000万元。

中国移动“大云”大数据平台产品,是基于成熟的Hadoop大数据基础组件实现的具有完善的大数据能力与完整的大数据解决方案的平台型产品。中国移动在研发过程中提出了多项专利,对包括大云大数据运营管理平台BC-BDOC、大云大数据仓库系统BC-Hugetable、大云并行数据挖掘系统BC-PDM、大云数据交换工具BC-CrossData、大云互联网采集系统和大云互联网情报分析系统在内的多项子产品拥有完全自主知识产权。

通过自主研发,中国移动掌握了大数据运营平台建设的关键技术,为提高我国大数据自主创新能力,培育战略性新兴产业,加快转变经济发展方式提供了重要支撑。

本项目提供了从数据采集、存储和处理到能力申请和应用托管的,具有一整套大数据能力的大数据平台产品,包含的子产品从大数据基础组件到典型大数据应用,具有良好的多租户能力。

对大数据平台进行研发,一方面对大数据技术进行了更深入的技术探索,另一方面为大数据平台建设提供了稳定可靠的解决方案。本项目提高了中国移动的自主创新能力,增强了中国移动在大数据平台建设领域的技术积累。





====================================分割线================================


本文转自d1net(转载)

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

分享:
大数据
使用钉钉扫一扫加入圈子
+ 订阅

大数据计算实践乐园,近距离学习前沿技术

其他文章