NoSQL数据库概览及其与SQL语法的比较

本文涉及的产品
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
云原生数据库 PolarDB MySQL 版,通用型 2核4GB 50GB
云原生数据库 PolarDB PostgreSQL 版,标准版 2核4GB 50GB
简介: 【文章摘要】HBase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,同时也是知名的NoSQL数据库之一。NoSQL数据库的产生就是为了解决大规模数据集合多重数据种类带来的挑战,尤其是大数据应用的难题。

【文章摘要

HBase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,同时也是知名的NoSQL数据库之一。NoSQL数据库的产生就是为了解决大规模数据集合多重数据种类带来的挑战,尤其是大数据应用的难题。

本文对NoSQL数据库的定义、分类、特征、当前比较流行的NoSQL数据库系统等进行了简单的介绍,并对NoSQL和SQL语法进行了简单的比较,为大家对NoSQL数据库的学习提供了有益的参考。

 

一、NoSQL的出现

关系型数据库系统多年来在解决数据存储、服务和处理问题方面取得了巨大的成功。一些大型的公司使用关系型数据库建立了自己的系统,如联机事务处理系统和后端分析应用系统。联机事务处理(OLTP)系统用来实时记录交易信息。对这类系统的期望是能够快速返回响应信息(一般在毫秒级)。联机分析处理(OLAP)系统用来分析查询所储存的数据。OLAP属于商业智能的范畴,数据需要研究、处理和分析,以便收集信息,进一步驱动商业决策。

关系型数据库的内部设计由关系算法决定,这些系统需要预先定义一个模式(schema)和数据要遵守的类型。SQL是与这些系统交互的标准方式。但在对象-关系不匹配问题出现的场合,SQL就不是表达访问模式的最好方式了。例如目前炙手可热的大数据领域,关系型数据库不能很好地工作。

有关大数据常见定义包括:第一,大数据意味着数据足够大,为了从这些数据中获得一些真知灼见,你不得不研究它;第二,大数据就是不再适用于单台机器的数据。这些观点并不完整,我们需要用一种根本上不同的方式来考虑数据,从如何驱动商业价值的角度来考虑数据,这种数据就是大数据。

在大数据领域中,系统需要能够适应不同种类的数据格式和数据源,不需要预先严格定义模式,并且能够处理大规模数据。这样,NoSQL就出现了。

 

二、NoSQL的定义

NoSQL(NoSQL= Not Only SQL ),意即“不仅仅是SQL”,是一项全新的数据库革命性运动。NoSQL的拥护者们提倡运用非关系型的数据存储。大多数数据库技术不能保证支持ACID(原子性、一致性、隔离性和持久性),而且大部分技术都是开源项目,这些技术作为整体被称为NoSQL。

 

三、NoSQL的分类

一般将NoSQL数据库分为四大类:键值(Key-Value)存储数据库、列存储数据库、文档型数据库和图形(Graph)数据库。它们的数据模型、优缺点、典型应用场景如表1所示。

表1 四大NoSQL数据库分析

分类

数据模型

优点

缺点

典型应用场景

键值(Key-Value)存储数据库

Key指向Value的键值对,通常用hash表来实现

查找速度快

数据无结构化(通常只被当作字符串或者二进制数据)

内容缓存,主要用于处理大量数据的高访问负载,也用于一些日志系统等

列存储数据库

以列簇式存储,将同一列数据存在一起

查找速度快,可扩展性强,更容易进行分布式扩展

功能相对局限

分布式的文件系统

文档型数据库

Key-Value对应的键值对,Value为结构化数据

数据结构要求不严格,表结构可变(不需要像关系型数据库一样需预先定义表结构)

查询性能不高,而且缺乏统一的查询语法

Web应用

图形(Graph)数据库

图结构

利用图结构相关算法(如最短路径寻址,N度关系查找等)

很多时候需要对整个图做计算才能得出需要的信息,而且这种结构不太好做分布式的集群方案

社交网络,推荐系统等

 

 

四、NoSQL的特征

NoSQL数据库并没有一个统一的架构,但是它们都普遍存在表2所示的一些共同特征。

表2 NoSQL的特征

特征

描述

不需要预定义模式

不需事先定义数据模式,预定义表结构等。数据中每条记录都可能有不同的属性和格式

无共享架构

NoSQL往往将数据划分后存储在各个本地服务器上,从而提高了系统的性能

弹性可扩展

可以在系统运行的时候,动态增加或者删除结点。不需要停机维护,数据可以自动迁移

分区

NoSQL数据库将数据进行分区,将记录分散在多个节点上面,并且通常分区的同时还要做复制

异步复制

NoSQL中的复制,往往是基于日志的异步复制。这样,数据就可以尽快地写入一个节点,而不会出现网络传输迟延

BASE

相对于ACID特性,NoSQL数据库保证的是BASE特性(BASE是最终一致性和软事务)

 

 

五、常见的NoSQL数据库

比较适合采用NoSQL数据库的场合是:(1)数据模型比较简单;(2)需要灵活性更强的IT系统;(3)对数据库性能要求较高;(4)不需要高度的数据一致性;(5)对于给定key,比较容易映射复杂值的环境。

常见的NoSQL数据库如表3所示。

表3常见的NoSQL数据库

分类

实例

 

 

 

 

 

键值(Key-Value)存储数据库

*  Riak:一个开源、分布式键值数据库,支持数据复制和容错

*  Redis:一个开源的键值存储数据库,支持主从式复制、事务,Pub/Sub、Lua脚本,还支持给Key添加时限

*  Dynamo:一个键值分布式存储数据库,直接由亚马逊Dynamo数据库实现

*  Oracle NoSQL Database:来自Oracle的键值NoSQL数据库,支持事务ACID和JSON

*  Oracle NoSQL Database:具备数据备份和分布式键值存储系统

*  Voldemort:具备数据备份和分布式键值存储系统

*  Aerospike:一个键值存储数据库,支持混合内存架构,通过强一致性和可调一致性保证数据的完整性

 

 

 

 

 

列存储数据库

*  Cassandra:支持跨数据中心的数据复制,提供列索引

*  HBase:一个开源、分布式、面向列存储的模型

*  Amazon SimpleDB:一个非关系型数据存储

*  Apache Accumulo:有序的、分布式键值数据存储,基于Google的BigTable设计

*  Hypertable:一个开源、可扩展的数据库,模仿Bigtable,支持分片

*  Azure Tables:为要求大量非结构化数据存储的应用提供NoSQL性能

 

 

 

文档型数据库

*  MongoDB:开源、面向文档

*  CounchDB:一个使用JSON的文档数据库,使用Javascript做MapReduce查询,也是一个使用HTTP的API

*  Couchbase:基于JSON模型

*  RavenDB:一个基于.net语言的面向文档数据库

*  MarkLogic:用来存储基于XML和以文档为中心的信息,支持灵活的模式

 

图形(Graph)数据库

*  Neo4j:一个图数据库,支持ACID事务

*  InfiniteGraph:用来维持和遍历对象间的关系,支持分布式数据存储

*  AllegroGraph:结合使用了内存和磁盘,提供了高可扩展性,支持SPARQ、RDFS++和Prolog推理

 

六、NoSQL和SQL语法的简单比较

前面介绍了NoSQL的基本情况,下面以HBase和ORACLE为例,对NoSQL和SQL的语法进行简单的比较。HBase数据库被认为是安全特性最完善的NoSQL数据库产品之一,它被证实是一个强大的工具,尤其是在已经使用Hadoop的场合。如今,它已经是Apache顶级项目,有着众多的开发人员和兴旺的用户社区。

1.创建表

如果要创建一个表“mytable”,其中包含了一个“info”字段,那么:

(1)ORACLE中的语法为:

create table mytable

(

    info  varchar(30) not null

);

(2)HBase中的语法为:

create 'mytable', 'cf'

该命令创建了一个有一个列族(“cf”)的表“mytable”。

 

2.写数据

如果要向表中写入数据“hello hbase”,那么:

(1)ORACLE中的语法为:

insert into mytable(info) values('hello hbase');

(2)HBase中的语法为:

put 'mytable', 'first', 'cf:info', 'hello hbase'

该命令在“mytable”表的“first”行中的“cf:info”列对应的数据单元中插入“hello hbase”。

 

3.读(查)数据

如果要从表中读出单条数据,那么:

(1)ORACLE中的语法为:

select * from mytable where info = 'hello hbase';

(2)HBase中的语法为:

get 'mytable', 'first'

该命令输出了该行的数据单元。

 

如果要从表中读出所有数据,那么:

(1)ORACLE中的语法为:

select * from mytable;

(2)HBase中的语法为:

scan 'mytable'

该命令输出了所有数据。

 

4.删数据

如果要从表中删除数据,那么:

(1)ORACLE中的语法为:

delete from mytable where info = 'hello hbase';

(2)HBase中的语法为:

put 'mytable', 'first', 'cf:info', 'hello hbase1'

该命令用最新的值覆盖了旧的值,就相当于将原数据删除了。

 

5.修改数据

如果要在表中修改数据,那么:

(1)ORACLE中的语法为:

update mytable set info = 'hello hbase1' where info = 'hellohbase';

(2)HBase中的语法为:

put 'mytable', 'first', 'cf:info', 'hello hbase1'

该命令用最新的值覆盖了旧的值,就相当于修改了原数据。

 

6.删表

如果要删除表,那么:

(1)ORACLE中的语法为:

drop table mytable;

(2)HBase中的语法为:

disable 'mytable'

drop 'mytable'

该命令先将表“disable”掉,然后再“drop”掉。

 

我们可以看到,HBase的语法比较的简单,因此完全可以将上述所有命令放到一个shell脚本中,让命令批量执行。下面,我们来具体操作一下:

第一步,编写名为“command.sh”的脚本,其内容如下:

exec /root/zhouzx/hbase-1.0.1/bin/hbase shell <<EOF

create 'mytable', 'cf'

put 'mytable', 'first', 'cf:info', 'hello hbase'

get 'mytable', 'first'

scan 'mytable'

put 'mytable', 'first', 'cf:info', 'hello hbase1'

disable 'mytable'

drop 'mytable'

EOF

 

第二步,将该脚本上传到Linux机器的安装HBase的用户下,依次执行“dos2unix command.sh”和“chmod 777command.sh”命令来转换文件格式和对文件赋权限。

 

第三步,执行“./command.sh”命令,在Linux界面上,我们可以看到如下输出信息:

HBase Shell; enter 'help<RETURN>' for list of supportedcommands.

Type "exit<RETURN>" to leave the HBase Shell

Version 1.0.1, r66a93c09df3b12ff7b86c39bc8475c60e15af82d, Fri Apr17 22:14:06 PDT 2015

 

create 'mytable', 'cf'

0 row(s) in 0.6660 seconds

 

Hbase::Table - mytable

put 'mytable', 'first', 'cf:info', 'hello hbase'

0 row(s) in 0.1140 seconds

 

get 'mytable', 'first'

COLUMN                           CELL                                                                                          

 cf:info                         timestamp=1435807200326, value=hello hbase                                                    

1 row(s) in 0.0440 seconds

 

scan 'mytable'

ROW                  COLUMN+CELL                                                                                    

 first                   column=cf:info,timestamp=1435807200326, value=hello hbase                                    

1 row(s) in 0.0210 seconds

 

put 'mytable', 'first', 'cf:info', 'hello hbase1'

0 row(s) in 0.0040 seconds

 

disable 'mytable'

0 row(s) in 1.1930 seconds

 

drop 'mytable'

0 row(s) in 0.1940 seconds

 

整个脚本执行过程不过几秒钟,但我们之前提到的所有HBase命令都包括其中了,由此可见批处理的威力。大家一定要好好体会一下。

 

七、总结

本文对NoSQL进行了全面的介绍,并比较了它与SQL语法之间的不同。尽管大多数NoSQL数据存储系统都已被部署到实际应用中,但仍存在以下挑战性问题需要解决:

第一,已有key-value数据库产品大多是面向特定应用自治构建的,缺乏通用性。

第二,已有产品支持的功能有限(不支持事务特性),导致其应用具有一定的局限性。

第三,已有一些研究成果和改进的NoSQL数据存储系统,但它们都是针对不同应用需求而提出的相应解决方案,很少从全局考虑系统的通用性,也没有形成系列化的研究成果。

第四,缺乏类似关系数据库所具有的强有力的理论(如armstrong公理系统)、技术(如成熟的基于启发式的优化策略、两段封锁协议等)、标准规范(如SQL语言)的支持。

第五,很多NoSQL数据库没有提供内建的安全机制。

 

随着云计算、移动互联网等技术的发展,大数据广泛存在,同时也出现了许多云环境下的新型应用,如社交网络、移动服务、协作编辑等。这些新型应用对海量数据管理或称云数据管理系统也提出了新的需求,NoSQL数据库在这些方面有大展身手的机会。我们有理由相信,NoSQL数据库的明天会更加的美好!

 

 

-------------------------

本人微信公众号:zhouzxi,请扫描以下二维码: 

 

相关实践学习
lindorm多模间数据无缝流转
展现了Lindorm多模融合能力——用kafka API写入,无缝流转在各引擎内进行数据存储和计算的实验。
云数据库HBase版使用教程
&nbsp; 相关的阿里云产品:云数据库 HBase 版 面向大数据领域的一站式NoSQL服务,100%兼容开源HBase并深度扩展,支持海量数据下的实时存储、高并发吞吐、轻SQL分析、全文检索、时序时空查询等能力,是风控、推荐、广告、物联网、车联网、Feeds流、数据大屏等场景首选数据库,是为淘宝、支付宝、菜鸟等众多阿里核心业务提供关键支撑的数据库。 了解产品详情:&nbsp;https://cn.aliyun.com/product/hbase &nbsp; ------------------------------------------------------------------------- 阿里云数据库体验:数据库上云实战 开发者云会免费提供一台带自建MySQL的源数据库&nbsp;ECS 实例和一台目标数据库&nbsp;RDS实例。跟着指引,您可以一步步实现将ECS自建数据库迁移到目标数据库RDS。 点击下方链接,领取免费ECS&amp;RDS资源,30分钟完成数据库上云实战!https://developer.aliyun.com/adc/scenario/51eefbd1894e42f6bb9acacadd3f9121?spm=a2c6h.13788135.J_3257954370.9.4ba85f24utseFl
目录
相关文章
|
15天前
|
SQL 存储 关系型数据库
【MySQL基础篇】全面学习总结SQL语法、DataGrip安装教程
本文详细介绍了MySQL中的SQL语法,包括数据定义(DDL)、数据操作(DML)、数据查询(DQL)和数据控制(DCL)四个主要部分。内容涵盖了创建、修改和删除数据库、表以及表字段的操作,以及通过图形化工具DataGrip进行数据库管理和查询。此外,还讲解了数据的增、删、改、查操作,以及查询语句的条件、聚合函数、分组、排序和分页等知识点。
【MySQL基础篇】全面学习总结SQL语法、DataGrip安装教程
|
20天前
|
SQL Oracle 数据库
使用访问指导(SQL Access Advisor)优化数据库业务负载
本文介绍了Oracle的SQL访问指导(SQL Access Advisor)的应用场景及其使用方法。访问指导通过分析给定的工作负载,提供索引、物化视图和分区等方面的优化建议,帮助DBA提升数据库性能。具体步骤包括创建访问指导任务、创建工作负载、连接工作负载至访问指导、设置任务参数、运行访问指导、查看和应用优化建议。访问指导不仅针对单条SQL语句,还能综合考虑多条SQL语句的优化效果,为DBA提供全面的决策支持。
55 11
|
1月前
|
SQL 关系型数据库 MySQL
MySQL导入.sql文件后数据库乱码问题
本文分析了导入.sql文件后数据库备注出现乱码的原因,包括字符集不匹配、备注内容编码问题及MySQL版本或配置问题,并提供了详细的解决步骤,如检查和统一字符集设置、修改客户端连接方式、检查MySQL配置等,确保导入过程顺利。
|
1月前
|
SQL 监控 安全
SQL Servers审核提高数据库安全性
SQL Server审核是一种追踪和审查SQL Server上所有活动的机制,旨在检测潜在威胁和漏洞,监控服务器设置的更改。审核日志记录安全问题和数据泄露的详细信息,帮助管理员追踪数据库中的特定活动,确保数据安全和合规性。SQL Server审核分为服务器级和数据库级,涵盖登录、配置变更和数据操作等事件。审核工具如EventLog Analyzer提供实时监控和即时告警,帮助快速响应安全事件。
|
2月前
|
SQL 关系型数据库 MySQL
体验使用DAS实现数据库SQL优化,完成任务可得羊羔绒加厚坐垫!
本实验介绍如何通过数据库自治服务DAS对RDS MySQL高可用实例进行SQL优化,包含购买RDS实例并创建数据库、数据导入、生成并优化慢SQL、执行优化后的SQL语句等实验步骤。完成任务,即可领取羊羔绒加厚坐垫,限量500个,先到先得。
186 12
|
2月前
|
SQL 存储 BI
gbase 8a 数据库 SQL合并类优化——不同数据统计周期合并为一条SQL语句
gbase 8a 数据库 SQL合并类优化——不同数据统计周期合并为一条SQL语句
|
2月前
|
SQL 数据库
gbase 8a 数据库 SQL优化案例-关联顺序优化
gbase 8a 数据库 SQL优化案例-关联顺序优化
|
2月前
|
SQL 存储 Linux
从配置源到数据库初始化一步步教你在CentOS 7.9上安装SQL Server 2019
【11月更文挑战第16天】本文介绍了在 CentOS 7.9 上安装 SQL Server 2019 的详细步骤,包括配置系统源、安装 SQL Server 2019 软件包以及数据库初始化,确保 SQL Server 正常运行。
|
2月前
|
SQL Java 数据库连接
canal-starter 监听解析 storeValue 不一样,同样的sql 一个在mybatis执行 一个在数据库操作,导致解析不出正确对象
canal-starter 监听解析 storeValue 不一样,同样的sql 一个在mybatis执行 一个在数据库操作,导致解析不出正确对象
|
16天前
|
存储 Oracle 关系型数据库
数据库传奇:MySQL创世之父的两千金My、Maria
《数据库传奇:MySQL创世之父的两千金My、Maria》介绍了MySQL的发展历程及其分支MariaDB。MySQL由Michael Widenius等人于1994年创建,现归Oracle所有,广泛应用于阿里巴巴、腾讯等企业。2009年,Widenius因担心Oracle收购影响MySQL的开源性,创建了MariaDB,提供额外功能和改进。维基百科、Google等已逐步替换为MariaDB,以确保更好的性能和社区支持。掌握MariaDB作为备用方案,对未来发展至关重要。
41 3