打造端到端大数据解决方案

本文涉及的产品
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介:

中国移动大数据平台产品研发和应用实践项目立志于研发通用的、提供端到端大数据处理能力的大数据平台,打造中国移动在Hadoop大数据产品族之上的自研大数据平台产品,提供完善的大数据能力与完整的大数据解决方案,提升现网大数据系统的平台能力,为中国移动IT系统的大数据平台建设打下坚实的基础。

“大云”大数据平台是集安全、数据采集、存储和处理、能力和应用以及运维和运营管理为一体的大数据平台产品。其核心组件包括大云Hadoop数据平台(BC-Hadoop)、“大云”大数据仓库系统(BC-HugeTable)、大云大数据运营管理平台(BC-BDOC)等。

“大云”大数据平台已先后被应用于多个单位、部门的42个项目,在生产系统中部署了超过1000台服务器。目前,依托“大云”大数据平台,应用单位的多项大数据相关业务已完成迁移,由“大云”大数据平台提供对数据采集到存储和处理等大数据场景的全面支持。

成果的创新性与优越性

“大云”大数据平台提供了完善的大数据能力,其中的子产品可分为三类:基础组件产品(如大云Hadoop数据平台BC-Hadoop)、大云大数据运营管理平台产品(BC-BDOC)和应用产品(如大云互联网采集系统)。其中,“大云”大数据运营管理平台产品BC-BDOC提供大数据运营管理、数据管理和安全管理的功能,是核心产品之一。

技术层面上,“大云”大数据运营管理平台BC-BDOC提供了基础大数据产品之上全面化的平台能力,解决了开源大数据基础组件提供的多租户能力不足的问题。

应用层面上,将包括“大云”大数据运营管理平台BC-BDOC在内的大数据平台产品运用于各个省公司的大数据平台建设,为其解决了不同部门不同应用间的资源隔离、资源统一分配、服务申请、数据共享等问题。

“大云”大数据运营管理平台BC-BDOC带来了一套大数据平台代替传统的多个小集群的模式,实现一套大数据平台部署多项应用,并做到资源合理分配,消除应用之间的影响,有效降低成本,提高集群的资源利用率。

成果的经济效益与社会效益

应用单位和部门依托提供的完善的大数据能力以及资源隔离、资源统一分配、服务申请、数据共享等功能,有效地避免了冗余大数据集群的建设,节约投资约2000万元。

中国移动“大云”大数据平台产品,是基于成熟的Hadoop大数据基础组件实现的具有完善的大数据能力与完整的大数据解决方案的平台型产品。中国移动在研发过程中提出了多项专利,对包括大云大数据运营管理平台BC-BDOC、大云大数据仓库系统BC-Hugetable、大云并行数据挖掘系统BC-PDM、大云数据交换工具BC-CrossData、大云互联网采集系统和大云互联网情报分析系统在内的多项子产品拥有完全自主知识产权。

通过自主研发,中国移动掌握了大数据运营平台建设的关键技术,为提高我国大数据自主创新能力,培育战略性新兴产业,加快转变经济发展方式提供了重要支撑。

本项目提供了从数据采集、存储和处理到能力申请和应用托管的,具有一整套大数据能力的大数据平台产品,包含的子产品从大数据基础组件到典型大数据应用,具有良好的多租户能力。

对大数据平台进行研发,一方面对大数据技术进行了更深入的技术探索,另一方面为大数据平台建设提供了稳定可靠的解决方案。本项目提高了中国移动的自主创新能力,增强了中国移动在大数据平台建设领域的技术积累。





====================================分割线================================


本文转自d1net(转载)

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
目录
相关文章
|
26天前
|
传感器 监控 大数据
指挥学校大数据系统解决方案
本系统集成九大核心平台,包括中心化指挥、数据处理、学生信息、反校园欺凌大数据、智慧课堂、学生行为综合、数据交换及其他外部系统云平台。通过这些平台,系统实现对学生行为、课堂表现、校园安全等多维度的实时监控与数据分析,为教育管理、执法机关、心理辅导等提供强有力的数据支持。特别地,反校园欺凌平台利用多种传感器和智能设备,确保及时发现并处理校园霸凌事件,保障学生权益。同时,系统还涵盖超市、食堂、图书馆、消防安全等辅助云平台,全面提升校园智能化管理水平。
|
1月前
|
存储 SQL 数据挖掘
数据无界、湖仓无界, Apache Doris 湖仓一体解决方案全面解读(上篇)
湖仓一体架构融合了数据湖的低成本、高扩展性,以及数据仓库的高性能、强数据治理能力,高效应对大数据时代的挑战。为助力企业实现湖仓一体的建设,Apache Doris 提出了数据无界和湖仓无界核心理念,并结合自身特性,助力企业加速从 0 到 1 构建湖仓体系,降低转型过程中的风险和成本。本文将对湖仓一体演进及 Apache Doris 湖仓一体方案进行介绍。
数据无界、湖仓无界, Apache Doris 湖仓一体解决方案全面解读(上篇)
|
JSON JavaScript 前端开发
Echarts高级进阶教程(2):appendData异步加载大数据量分片加载数据和增量渲染的解决方案
Echarts高级进阶教程(2):appendData异步加载大数据量分片加载数据和增量渲染的解决方案
1297 0
|
5月前
|
弹性计算 缓存 搜索推荐
大数据个性化推荐,AWS终端用户解决方案
大数据个性化推荐,AWS终端用户解决方案
|
7月前
|
SQL 存储 分布式计算
"SQLTask携手Tunnel:打造高效海量数据导出解决方案,轻松应对大数据挑战
【8月更文挑战第22天】SQLTask搭配Tunnel实现高效海量数据导出。SQLTask擅长执行复杂查询,但直接导出受限(约1万条)。Tunnel专注数据传输,无大小限制。二者结合,先用SQLTask获取数据,再通过Tunnel高效导出至目标位置(如CSV、OSS等),适用于大数据场景,需配置节点及连接,示例代码展示全过程,满足企业级数据处理需求。
119 2
|
8月前
|
存储 弹性计算 大数据
阿里云ECS以其强大的弹性计算与存储能力,为大数据处理提供了灵活、高效、成本优化的解决方案
阿里云ECS在大数据处理中发挥关键作用,提供多样化实例规格适应不同需求,如大数据型实例适合离线计算。ECS与OSS集成实现大规模存储,通过Auto Scaling动态调整资源,确保高效运算。案例显示,使用ECS处理TB级数据,速度提升3倍,成本降低40%,展现其在弹性、效率和成本优化方面的优势。结合阿里云生态系统,ECS助力企业数据驱动创新。
152 1
|
8月前
|
数据采集 存储 数据可视化
数加产品家族图解:一站式大数据处理与分析解决方案
数加产品家族作为阿里云一站式大数据处理与分析解决方案的重要组成部分,以其全面的功能和强大的性能,为企业提供了从数据采集、存储、处理到分析的全链路解决方案。通过图解的形式,我们深入解析了数加产品家族的各个组成部分和优势特点,展现了其在大数据处理与分析领域的独特魅力。未来,随着大数据技术的不断发展和应用场景的不断拓展,数加产品家族将继续发挥其重要作用,为企业
|
9月前
|
存储 监控 NoSQL
MongoDB分片:打造高性能大数据与高并发处理的完美解决方案
MongoDB分片:打造高性能大数据与高并发处理的完美解决方案
379 0
|
10月前
|
存储 分布式计算 DataWorks
【阿里云云原生专栏】云原生下的数据湖建设:阿里云MaxCompute与DataWorks解决方案
【5月更文挑战第26天】在数字化时代,数据成为企业创新的关键。阿里云MaxCompute和DataWorks提供了一种构建高效、可扩展数据湖的解决方案。数据湖允许存储和分析大量多格式数据,具备高灵活性和扩展性。MaxCompute是PB级数据仓库服务,擅长结构化数据处理;DataWorks则是一站式大数据协同平台,支持数据集成、ETL和治理。通过DataWorks收集数据,MaxCompute存储和处理,企业可以实现高效的数据分析和挖掘,从而提升业务洞察和竞争力。
495 0
|
XML Java 大数据
Spring Batch:处理大数据和批量任务的解决方案
Spring Batch:处理大数据和批量任务的解决方案
446 0