数据库大会:大数据来了 机遇与挑战共存

本文涉及的产品
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介:
+关注继续查看
本文讲的是数据库大会:大数据来了 机遇与挑战共存,2012年4月13日,由IT168(ITPUB、IXPUB、ChinaUnix)主办的2012中国数据库技术大会(DTCC)在北京隆重召开。大会第二天,北京人大金仓信息技术股份有限公司首席科学家王珊教授发表了主题为“Big Data时代数据库的机遇、挑战与应变”的精彩演讲。

  大数据时代的到来,数据带来了爆炸式的增长,数据设备使真实世界能够被数字化处理,数据由量的积累而产生了分析处理价值。

  王珊表示,大数据的来源主要来自互联网公司Facebook、大型企业、电信、金融等行业的简单数据类型和结构化数据。现在Facebook拥有强大的数据仓库。互联网和电子商务的发展使数据库技术面临着海量数据处理的挑战,需要高度的可扩展和高度的可伸缩。数据的处理由事务处理走向了分析处理。传感器网络、物联网上的流数据和不确定性数据成为了数据处理的来源,随着硬件技术的发展,数据处理平台由单处理器平台走向了多核、大内存、集群、云计算平台的迁移。


  谈及大数据时,王珊指出,由麦肯锡研究提供的报告指出了当前大数据的特点,简称为4V(多样、快变、巨量、价值)如传感数据、交通数据更新频度高,数据价值同时间相关、数据由结构化、半结构化、还有非结构化数据比如文本、视频、点击流、和日志等。

  SQL和NoSQL技术的思考

  SQL技术采用了统一的数据模型、强一致性等特点,尤其在核心的事务处理领域不能被取代,它为用户提供了简单性、以及兼容性的最佳组合,提供了一个通用共享平台。对只读的分析处理的扩展性需要进一步扩展。

  Web系统的NoSQL技术主要面向非结构化数据,使用到了Key-Value处理,MapReduce处理,具有高度的可扩展和可伸缩性。

  数据库与MapReduce之间借鉴的融合主要分为三种类型的解决方案,包括以GreenPlum 和AsterData为代表的并行数据库主导型、Hive 和Pig Latin 为代表的MapReduce主导型、HadoopDB和IBM解决方案为代表的并行数据库主导型和MapReduce集成性。

  谈及DB和MapReduce的关系时,王珊强调,DB和MapReduce不是替代关系,DB不能固步自封,无视MapReduce的技术,DB也不能邯郸学步、丢掉深厚的积累而去实现一个基于Hadoop的DB,从DB中挖掘适合MapReduce计算模型的子系统,从核心算法层面将适合MapReduce的任务。


作者:皮丽华

来源: IT168

原文标题:数据库大会:大数据来了 机遇与挑战共存

相关实践学习
简单用户画像分析
本场景主要介绍基于海量日志数据进行简单用户画像分析为背景,如何通过使用DataWorks完成数据采集 、加工数据、配置数据质量监控和数据可视化展现等任务。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
6月前
|
存储 关系型数据库 物联网
大数据数据存储的数据库的非关系型数据库之InfluxDB
大数据时代,传统的关系型数据库已经不能满足海量数据存储和管理的需求。因此,非关系型数据库(NoSQL)应运而生,其中InfluxDB便是备受关注的一种。
189 0
|
6月前
|
存储 NoSQL 关系型数据库
大数据数据存储的数据库的非关系型数据库之Neo4J
在大数据时代,随着数据规模的快速扩大,传统的关系型数据库已经不能满足数据存储和管理的需求。非关系型数据库(NoSQL)应运而生,其灵活性、可扩展性和高性能成为大数据存储领域的新宠。其中,Neo4J就是备受推崇的一种非关系型数据库。
77 0
|
6月前
|
存储 SQL 分布式计算
大数据数据存储的数据库的非关系型数据库之HBase
当今大数据时代的到来,数据库的存储问题成为了一个主要考虑点。传统的关系型数据库因其表结构和SQL语言特性,限制了其在大数据场景下的应用。非关系型数据库(NoSQL)的应运而生,而其中的HBase数据库便是备受关注的一种。
48 0
|
6月前
|
存储 JSON NoSQL
大数据数据存储的数据库的非关系型数据库之MongoDB
当今互联网时代,数据的处理和管理已成为各行各业必不可少的一部分。尤其是在大数据领域,数据存储更是至关重要。传统关系型数据库在某些场景下并不能完全满足需求,这时非关系型数据库就应运而生。其中MongoDB作为一个非常受欢迎的非关系型数据库,备受大家关注。本文将介绍MongoDB的概念、特点以及使用方法。
53 0
|
6月前
|
存储 缓存 NoSQL
大数据数据存储的数据库的非关系型数据库之Redis
在大数据领域中,数据库是常用的数据存储方式之一。而非关系型数据库相比于传统的关系型数据库,具有更高的可扩展性、灵活性和性能等优点。本文将介绍Redis非关系型数据库的基本概念、特点和使用方法,希望能够为大家提供一些参考和帮助。
33 0
|
6月前
|
存储 分布式计算 Oracle
大数据数据存储的数据库的关系型数据库之Oracle
在大数据领域,数据库是数据存储的一个重要组成部分。Oracle作为一种强大的关系型数据库,在企业级应用中得到了广泛应用。本文将对Oracle进行介绍。
71 2
|
6月前
|
SQL 存储 关系型数据库
大数据数据存储的数据库的关系型数据库之SQL Server
在大数据领域中,数据存储是一个至关重要的环节。而数据库作为常用的数据存储方式,在各种数据处理场景中扮演着不可或缺的角色。本文将介绍SQL Server关系型数据库的基本概念、特点和使用方法,希望能够为大家提供一些参考和帮助。
97 2
|
6月前
|
存储 分布式计算 关系型数据库
大数据数据存储的数据库的关系型数据库之MySQL
在大数据领域,数据库是数据存储的一个重要组成部分。关系型数据库MySQL是其中的一种常见类型。本文将对MySQL进行介绍。
60 2
|
7月前
|
存储 SQL 分布式计算
【数据库07】后端开发必备的大数据知识指南 2
【数据库07】后端开发必备的大数据知识指南
|
7月前
|
存储 SQL JSON
【数据库07】后端开发必备的大数据知识指南 1
【数据库07】后端开发必备的大数据知识指南
推荐文章
更多