大数据是云计算的“杀手级”应用

本文涉及的产品
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
简介:

ZDNet至顶网服务器频道 03月06日 新闻消息:全国人大代表、腾讯公司CEO马化腾在今年两会议案中建议,加快移动互联网在民生领域的普及和应用,通过互联网解决防治雾霾等重大民生问题。全国政协委员、百度公司CEO李彦宏在今年提交给两会的提案建议,设立“中国大脑”计划,推动人工智能跨越发展,抢占新一轮科技革命制高点。这背后均涉及海量数据。如何确保数据流通畅无阻?这就离不开云计算这位幕后英雄了。围绕云计算跟普通用户的关系,在万物互联社会中云计算的重要作用,国务院新政将给云计算产业带来哪些利好,大数据时代的真正到来需依赖云计算的普及等话题,中国信息通信研究院标准所副所长何宝宏接受了新华信息化记者的专题采访。

何宝宏表示,云计算跟我们如影随行,关系密切。日常生活中我们从事“计算”工作时,典型的一种方式是用自己的PC、平板电脑或智能手机等本地完成,设备越高档计算能力越强。现在出现了一种新的“计算”方式,就是通过互联网使用远端服务器提供的“计算”服务,本地的手机等终端需要把计算任务通过互联网提交给远端的服务器去处理,等待计算结果就可以了,这就是云计算。早期的水、电是自己家里购置发电设备和挖水井等,现代的水电已经是公共服务了,通过电网水网从远端电厂水厂获得水电。云计算就像水电那样,把“计算”变成了一种公共服务。这样做的好处,一是再也不会受限于自己设备的计算能力,而需要频繁“升级”PC等计算设备了,需要多大计算能力、储备空间都是由网络上的云计算提供的,没有能力上限,而且价格也便宜了很多。二是个人数据都保存到了云端,更换手机等设备时,或者使用不同的设备时,再也不需要担心数据的导入导出,以及同步问题了。

随着万物互联社会的日渐临近,云计算的重要作用主要体现在哪里?何宝宏认为,万物互联,意味着数据爆炸。如何有效存储和分析这些大数据,将成为十分棘手的问题。云计算在技术上可以理解为将众多能力较弱的服务器,通过网络有机集成在一起,形成一个能力超强的、可动态伸缩的资源池,完成大任务。同时,云计算在商业模式上也符合时代需求,专业化的云服务商以卖服务的形式向用户提供信息处理能力,用户可以向用水用电一样按需使用和付费,不必自己建设和维护信息系统,省力省心。因此可以认为,不管是技术上还是经济上,云计算都为万物互联时代提供了非常好的技术手段,使得我们能够游刃有余地应对数据洪流。无论是移动互联网、物联网还是工业互联网等,都会产生海量数据,形成的大数据需要保存、加工处理,这就需要云计算这个工具了。

对于国务院近期出台的《关于促进云计算创新发展培育信息产业新业态的意见》(简称《意见》),何宝宏分析说,《意见》把云计算放在一个很高的战略位置上,认为“发展云计算,有利于分享信息知识和创新资源,降低全社会创业成本,培育形成新产业和新消费热点,对稳增长、调结构、惠民生和建设创新型国家具有重要意义。”《意见》还明确提出要“发挥市场在资源配置中的决定性作用,完善市场准入制度,减少行政干预”的原则,释放出一个明确的、稳定的政策预期,这一点其实是最大的利好。另外,《意见》还提出很多具体举措,从供给侧和需求侧双向推动。比如,《意见》提出要实施云计算工程,扶持服务、产品和技术创新;提出政府部门要加大采购云计算服务的力度,积极开展试点示范,还设置了到2017年政府自建数据中心数量减少5%以上的刚性约束;提出开展公共数据开放利用改革试点,出台政府机构数据开放管理规定,探索用大数据提升社会管理和公共服务能力,为大数据发展的打下基础。这些政策措施如果落实到位,都对我国云计算产业的发展都是非常有利的。

关于云计算与数据中心的相互促进作用,何宝宏表示,一般理解的数据中心,是指放置服务器的、网络设备的机房及相关配套设施,是云计算的物理载体。如果类比计算机,数据中心就是硬件,云计算就是运行在上面的软件。两者紧密相关,但并不能划等号。国内很多地方前几年出现了一些错误的倾向,简单将二者等同起来,认为发展云计算,就必须大兴土木,大建数据中心。机房很容易拔地而起,但要搭云平台确实不容易,技术不过硬,吸引人来用就更难了,结果造成闲置浪费。云计算的发展,的确需要相应规模的数据中心来承载,但更应注重云计算服务能力的建设,发展中切忌软硬失调。

对于国内云计算市场目前格局,何宝宏说,经过几年发展,国内云计算市场越来越成熟了。参与的企业大致有三种类型。一是互联网巨头,他们把自己在承载自身业务中积累的技术能力和运维经验开放出来,以服务的形式提供。二是电信运营商,他们历来就是做服务生意的,发展云计算实际上是在他们的通信技术(CT)优势之上叠加IT能力。在上述两类“富二代”之外,国内还陆续涌现了一批专门做云计算的创业公司,发展势头迅猛。国内云计算的发展才刚刚开始,市场格局还处于高度动态的时期,格局远未定型。云计算全球IT支出中的占比在2013年只有3.6%,预计到2018年将提高到6.6%,未来空间还非常巨大。

“我国公共云服务市场发展快速,但总量仍较小。市场初期,云服务商发展良莠不齐,用户对云服务的安全和质量仍有很大顾虑,主要原因是用户信心不足。根据中国信息通信研究院的调查,数据安全与隐私保护、系统可靠性与业务连续性等方面存有顾虑,是阻碍我国公共云使用的主要因素。”何宝宏说,“《意见》开出药方,提出要‘支持第三方机构开展云计算服务质量、可信度和网络安全等评估测评工作。引导云计算服务企业加强内部管理,提升服务质量和诚信水平,逐步建立云计算信任体系。’另外,从需求侧来看,政府、金融等重点垂直行业应用云计算还面临着诸多制度制约,也需要在《意见》的要求下逐步突破体制机制障碍。”

何宝宏强调,云计算产业的发展才刚刚起步,前景广阔。下一步的发展将呈现下面几个特点:一是应用向更多行业渗透。目前利用云计算的以互联网应用和小微企业为主,未来大企业,金融、政府等应用复杂、等级要求更高的行业将越来越多的采用云服务。二是服务种类将越来越丰富。从国内外云服务企业的产品创新来看,凡是可以抽取共性的需求,都可以成为云服务,可以预见未来服务种类将会百花齐放。三是支撑大数据应用的深化。大数据是云计算之上的杀手级应用。随着云计算的普及,管理和分析数据门槛将大大降低,这为数据在各个行业的深度应用提供了条件,大数据时代因云计算的普及而真正到来。

原文发布时间为:2015年03月06日
本文来自云栖社区合作伙伴至顶网,了解相关信息可以关注至顶网。
相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
目录
相关文章
|
28天前
|
数据采集 数据可视化 大数据
Python在大数据处理中的应用实践
Python在大数据处理中扮演重要角色,借助`requests`和`BeautifulSoup`抓取数据,`pandas`进行清洗预处理,面对大规模数据时,`Dask`提供分布式处理能力,而`matplotlib`和`seaborn`则助力数据可视化。通过这些工具,数据工程师和科学家能高效地管理、分析和展示海量数据。
59 4
|
15天前
|
分布式计算 大数据 Spark
Spark大数据处理:技术、应用与性能优化(全)PDF书籍推荐分享
《Spark大数据处理:技术、应用与性能优化》深入浅出介绍Spark核心,涵盖部署、实战与性能调优,适合初学者。作者基于微软和IBM经验,解析Spark工作机制,探讨BDAS生态,提供实践案例,助力快速掌握。书中亦讨论性能优化策略。[PDF下载链接](https://zhangfeidezhu.com/?p=347)。![Spark Web UI](https://img-blog.csdnimg.cn/direct/16aaadbb4e13410f8cb2727c3786cc9e.png#pic_center)
52 1
Spark大数据处理:技术、应用与性能优化(全)PDF书籍推荐分享
|
26天前
|
存储 云安全 监控
云计算的应用
【6月更文挑战第23天】云计算的应用
57 7
|
23天前
|
搜索推荐 安全 大数据
大数据在医疗领域的应用与前景
【6月更文挑战第26天】大数据在医疗领域提升服务效率,助力疾病预防与精准治疗。电子病历优化数据管理,疾病预测预防个性化医疗成为可能。未来,智能医疗系统普及,远程医疗兴起,数据共享促进行业发展,同时隐私保护与安全备受关注。大数据正重塑医疗,开启健康新篇章。
|
23天前
|
SQL 运维 druid
深度分析:Apache Doris及其在大数据处理中的应用
Apache Doris是一款开源的高性能实时分析数据库,设计用于低延迟SQL查询和实时数据处理,适合大规模实时分析场景。与Apache Druid、ClickHouse和Greenplum相比,Doris在易用性和实时性上有优势,但其他产品在特定领域如高吞吐、SQL支持或数据处理有特长。选型要考虑查询性能、实时性、SQL需求和运维成本。Doris适用于实时数据分析、BI报表、数据中台和物联网数据处理。使用时注意资源配置、数据模型设计、监控调优和导入策略。
|
25天前
|
存储 安全 定位技术
云计算在远程办公与协作平台中的应用与挑战是一个热门话题。
云计算在远程办公与协作平台中的应用与挑战是一个热门话题。
13 1
|
23天前
|
消息中间件 存储 大数据
深度分析:Apache Kafka及其在大数据处理中的应用
Apache Kafka是高吞吐、低延迟的分布式流处理平台,常用于实时数据流、日志收集和事件驱动架构。与RabbitMQ(吞吐量有限)、Pulsar(多租户支持但生态系统小)和Amazon Kinesis(托管服务,成本高)对比,Kafka在高吞吐和持久化上有优势。适用场景包括实时处理、数据集成、日志收集和消息传递。选型需考虑吞吐延迟、持久化、协议支持等因素,使用时注意资源配置、数据管理、监控及安全性。
|
23天前
|
消息中间件 分布式计算 Kafka
深度分析:Apache Flink及其在大数据处理中的应用
Apache Flink是低延迟、高吞吐量的流处理框架,以其状态管理和事件时间处理能力脱颖而出。与Apache Spark Streaming相比,Flink在实时性上更强,但Spark生态系统更丰富。Apache Storm在低延迟上有优势,而Kafka Streams适合轻量级流处理。选型考虑延迟、状态管理、生态系统和运维成本。Flink适用于实时数据分析、复杂事件处理等场景,使用时注意资源配置、状态管理和窗口操作的优化。
|
1月前
|
机器学习/深度学习 运维 监控
自动化运维技术在云计算环境中的应用
本文探讨了自动化运维技术在云计算环境中的应用。通过分析云计算的特点和挑战,以及传统运维方式存在的问题,提出了自动化运维的必要性。文章介绍了自动化运维技术的基本原理和常见的应用场景,并详细阐述了其在云计算环境中的优势和实际效果。最后,文章展望了未来自动化运维技术的发展趋势,强调了其对于提高云计算服务质量和效率的重要作用。
24 0
|
1月前
|
存储 弹性计算 数据挖掘
云计算在科研计算中的高效应用
云计算在科研计算中的高效应用
30 0