开发者社区> ArimaMisaki> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

一幅长文细学华为MRS大数据开发(一)—— 大数据时代的挑战和机遇

简介: 本文主要讲述了大数据的定义,以及华为鲲鹏对于日益见长的大数据的解决方案
+关注继续查看

1 大数据时代的挑战和机遇

1.1 大数据基础概念

1.1.1 大数据时代的发展

蒸汽时代——电气时代——信息时代——智能时代


1.1.2 大数据定义

大数据是指利用常用软件工具捕获、管理和处理数据所耗时间超过可容忍时间的数据集


1.1.3 大数据的4V

  • 体量巨大Volume
  • 处理速度快Velocity
  • 类型繁多Variety
  • 价值密度低Value


1.1.4 大数据处理和传统数据处理的差异

大数据处理传统数据处理
数据规模
数据类型繁多单一
模式和数据的关系先有数据后有模式,模式随数据增多不断演变先有模式后有数据
处理工具No size fits allOne size fits all


1.1.5 并行计算相关知识

节点:指的就是某一个服务器,或者是某一台计算机,或者是某一台主机

机架:存放服务器的架子。一般来说全1U设备部署数量一般不超过16台,全2U设备一般不超过12台,全4U设备一般4到7台。也就是说,一台机架上有多个服务器。


1.2 大数据应用领域

image-20220808131727936


1.2.1 大数据金融应用

image-20220808131851336


1.2.2 大数据教育应用

image-20220808132004819


1.2.3 大数据公共安全应用

image-20220808132053314


1.2.4 大数据交通规划应用

image-20220808132137734


1.3 大数据计算

1.3.1 计算任务的分类

IO密集型任务

计算密集型任务

数据密集型任务

1.3.2 大数据应用的主要计算模式

批处理计算:针对大规模数据的批量处理,如MapReduce、Spark等

流计算:针对流数据的实时计算处理,如Spark、Storm、Flink、Flume、Dstream等

图计算:针对大规模图结构数据的处理,如GraphX、Gelly、Giraph、PowerGraph等

查询分析计算:大规模数据的存储管理和查询分析,如Hive、Impala、Dremel等


1.3.3 Hadoop大数据生态圈

image-20220808133822526


1.4 企业面临的挑战和机遇

1.4.1 挑战

  • 业务部门无清晰的大数据需求
  • 企业内部数据孤岛严重
  • 数据可用性低、质量差
  • 数据相关管理技术和架构
  • 数据安全问题
  • 大数据人才缺乏
  • 数据开放和隐私的权衡


1.4.2 机遇

大数据挖掘成为商业分析的核心

大数据成为信息技术应用的支撑点

大数据成为信息产业持续增长的新引擎


1.5 华为鲲鹏解决方案

1.5.1 新时代的需求

万物互联——海量数据产生需要更高算力

应用和数据的多样性需要新的计算架构

超万亿规模的计算产业空间


1.5.2 鲲鹏计算产业优势

以中国市场孵化和完善行业应用,与全球产业形成良性循环

和ARM共享优势生态,协同加速发展


1.5.3 鲲鹏计算产业整体架构

鲲鹏计算产业是基于Kunpeng处理器构建的全栈IT基础设施、行业应用及服务,包括PC、服务器、存储、操作系统、中间件、虚拟化、数据库、云服务、行业应用以及咨询管理服务等。


1.5.4 鲲鹏大数据解决方案

华为安全可控大数据解决方案,提供一站式高性能大数据计算及数据安全解决方案,解决公共安全行业大数据智能化建设的数据安全、效率、能耗等基础性难题。


1.5.5 BIgData Pro大数据解决方案

该方案采用基于公有云的存储和计算分离架构,以可无限弹性扩容的鲲鹏算力作为计算资源,以支持原生多协议的OBS对象存储服务为统一的存储数据湖。

提供了“存算分离、极致弹性、极致高效”的全新公有云大数据解决方案,大幅提高了大数据集群的资源利用率。


1.5.6 华为大数据解决方案优势

  • 高安全
  • 高性能
  • 高开放


1.5.7 华为云大数据服务

image-20220808171408971


1.5.8 华为云MRS服务

image-20220808171536141


1.5.9 华为云MRS服务的优势

  • 高性能
  • 易运维
  • 高安全
  • 低成本

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
谷歌员工年薪中位数近 30 万美元;华为员工越权访问机密数据被判刑;海康威视称近几年人才内卷严重,涨薪应对竞争 | AI 一周资讯
继成为推特最大股东后,马斯克下一步想买下推特;大手笔!英特尔计划投资 30 亿美元扩建 D1X 工厂;一辆自动驾驶出租车违章后“逃逸”,看懵美国警察....;阿里云人事大变动 : 中国区总裁辞任,多名高 P 离职;海康威视:过去几年人才内卷严重,实体企业在互联网大厂面前竞争力弱;俄罗斯超算将使用自研 CPU;何小鹏、余承东为上海供应链发声,上海已发布企业复工复产疫情防控指引....
90 0
智慧医疗大数据解决方案
随着医院信息化建设不断发展,医疗数据规模日益增长,医疗服务全面进入“大数据时代”。
2170 0
“筑梦未来,起航云栖”2018阿里云大学数据科学夏令营活动圆满结束
本次夏令营旨在基于大数据学院学生已有知识与技能,聚焦大数据、云计算、人工智能领域专业知识,通过阿里云先进的云上计算实验资源与阿里资深工程师现场辅导、面对面的阿里师兄交流、阿里HR现场答疑、园区与企业参观等环节,从理论到应用、从学校到企业、从线上到线下使学生深入地理解所学专业知识的应用场景及应用技巧,让同学们更近距离地体验到最前沿的科技,深刻体验阿里独特的文化和职业成长环境。
3684 0
背靠中台实现基于大数据驱动的国际化电商架构(二)
一、背景 老生常谈国际化的技术挑战: 1)国际电商面临的是全球消费者,天然延时大; 2)面临国际互联互通的网络质量问题; 3)国际电商技术还将面临如何快速应对合规、政策等问题; 4)需要发展本地化业务来补足消费者需求,而本地化将面临与全球各地的第三方Service Provider对接; 5)全球范围内的灾备; 6)全球数据一致性; 7)竞争环境及很多的不确定性,需要我们快速迭代试错 这些挑战需要我们用智能高效的技术解决方案。
3129 0
+关注
ArimaMisaki
一个认真并且每天保持学习的开荒者
文章
问答
文章排行榜
最热
最新
相关电子书
更多
长安十二时辰背后的技术密集——从智能算法到音视频创新技术
立即下载
优酷背后的大数据秘密
立即下载
AI普惠美好:智能设计的增量
立即下载