开发者社区> 云栖大讲堂> 正文

数据库大会:大数据来了 机遇与挑战共存

简介:
+关注继续查看
本文讲的是数据库大会:大数据来了 机遇与挑战共存,2012年4月13日,由IT168(ITPUB、IXPUB、ChinaUnix)主办的2012中国数据库技术大会(DTCC)在北京隆重召开。大会第二天,北京人大金仓信息技术股份有限公司首席科学家王珊教授发表了主题为“Big Data时代数据库的机遇、挑战与应变”的精彩演讲。

  大数据时代的到来,数据带来了爆炸式的增长,数据设备使真实世界能够被数字化处理,数据由量的积累而产生了分析处理价值。

  王珊表示,大数据的来源主要来自互联网公司Facebook、大型企业、电信、金融等行业的简单数据类型和结构化数据。现在Facebook拥有强大的数据仓库。互联网和电子商务的发展使数据库技术面临着海量数据处理的挑战,需要高度的可扩展和高度的可伸缩。数据的处理由事务处理走向了分析处理。传感器网络、物联网上的流数据和不确定性数据成为了数据处理的来源,随着硬件技术的发展,数据处理平台由单处理器平台走向了多核、大内存、集群、云计算平台的迁移。


  谈及大数据时,王珊指出,由麦肯锡研究提供的报告指出了当前大数据的特点,简称为4V(多样、快变、巨量、价值)如传感数据、交通数据更新频度高,数据价值同时间相关、数据由结构化、半结构化、还有非结构化数据比如文本、视频、点击流、和日志等。

  SQL和NoSQL技术的思考

  SQL技术采用了统一的数据模型、强一致性等特点,尤其在核心的事务处理领域不能被取代,它为用户提供了简单性、以及兼容性的最佳组合,提供了一个通用共享平台。对只读的分析处理的扩展性需要进一步扩展。

  Web系统的NoSQL技术主要面向非结构化数据,使用到了Key-Value处理,MapReduce处理,具有高度的可扩展和可伸缩性。

  数据库与MapReduce之间借鉴的融合主要分为三种类型的解决方案,包括以GreenPlum 和AsterData为代表的并行数据库主导型、Hive 和Pig Latin 为代表的MapReduce主导型、HadoopDB和IBM解决方案为代表的并行数据库主导型和MapReduce集成性。

  谈及DB和MapReduce的关系时,王珊强调,DB和MapReduce不是替代关系,DB不能固步自封,无视MapReduce的技术,DB也不能邯郸学步、丢掉深厚的积累而去实现一个基于Hadoop的DB,从DB中挖掘适合MapReduce计算模型的子系统,从核心算法层面将适合MapReduce的任务。


作者:皮丽华

来源: IT168

原文标题:数据库大会:大数据来了 机遇与挑战共存

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
NDBC 2021,阿里云数据库分享产业发展趋势及最新技术进展
12月3日-5日,云南昆明,第38届CCF中国数据库学术会议(NDBC 2021)顺利开展。
148 0
大咖说 X 对话开源|论数据库人才发展战略
数据库产品要取得市场的最终认可,除了产品匹配用户诉求、渠道成功、生态支持友好以外,同样重要的还有人才战略的长远规划。人才是非常有限的资源,需要产业界和学术界联合探讨,共同推进数据库生态的人才发展。本期大咖说,阿里云联合武汉大学、深圳大学和上海开源协会展开多方对话,就校企机构等多方角色如何参与数据库开源生态建设、如何通过校企合作培养更多数据库人才等重要话题进行探讨交流、分享思路。
130 0
数据库产业50年变迁:传统巨头的时代已经远去
“前一个时代辉煌的巨星往往是最后一个适应变化的人。”
1711 0
【云栖精选9月刊】云端数据库未来发展趋势:机遇与挑战并存
本期《云栖精选》以“云数据库”为封面选题,精选了阿里云对于云数据库产品和架构设计背后的考量,并且对于阿里云新一代关系型数据库PolarDB进行了深入剖析,还为大家分享了大数据场景下的HBase的架构设计。此外,也从数据库在线技术峰会中精选了系列技术文章,就让我们一起走上数据库技术进阶之旅。
5849 0
+关注
云栖大讲堂
擅长前端领域,欢迎各位热爱前端的朋友加入我们( 钉钉群号:23351485)关注【前端那些事儿】云栖号,更多好文持续更新中!
文章
问答
视频
文章排行榜
最热
最新
相关电子书
更多
【云栖精选9月刊】云端数据库未来发展趋势:机遇与挑战并存
立即下载
展望云计算新时代数据库计算力的进化
立即下载
PostgresChina2018_马鹏玮_以标准推动数据库新技术的快速落地
立即下载