NoSQL与Memcached、Redis、MongoDB概述

本文涉及的产品
云数据库 MongoDB,独享型 2核8GB
推荐场景:
构建全方位客户视图
云数据库 Tair(兼容Redis),内存型 2GB
Redis 开源版,标准版 2GB
推荐场景:
搭建游戏排行榜
简介:

一、NoSQL介绍

   非关系型数据库(而mysql、oracle、sqlserver都是关系型数据库)


1. 特点

  • 数据之间无关系,随意扩展

  • 数据存储简单,可以存在内存中,读写速度快

  • 不需要建表、字段。自定义格式


2. 分类

  A. 键值(Key-Value)数据库redis、memcached、riak

     redis/memcached 适合存储用户信息,比如会话、配置文件、参数、购物车等,这些信息一般和ID(键)挂钩


  B. 面向文档(Document-Oriented)数据库:MongoDB、CouchDB、RavenDB

    MongoDB将数据以文档形式存储,每个文档都是一系列数据项的集合,每个数据项都有一个名称与对应的值,值既可以是简单的数据类型,如文字、字符串、数字和日期等,也可以是复杂的类型,如有序列表和关联对象。数据存储的最小单位是文档,同一个表中存储的文档属性可以是不同的,数据可以使用XML、JSON或JSONB等多种形式


  C. 列存储(Wide Column Store/Column-Family)数据库:Cassandra、HBase


  D. 图(Graph-Oriented)数据库:Neo4J、Infinite Graph、OrientDB



二、Memcached介绍

    国外Live Journal团队开发,通过缓存数据库查询结果,减少数据库的访问次数(写入减少不了),从而提高动态Web站点性能。数据存在内存中,重启服务器即数据消失


1. 特点

  • 基于c/s架构,协议简单

  • 基于libevent的事件处理

  • 自主内存存储处理(slab allocation)

  • 数据过期方式:Lazv Expiration和LRU


2. Memcationed流程图

 wKioL1jdx7yiX7nXAAJE4ZWruR8668.png


3. Slab allocation原理

  • 将分配的内存分割成各种尺寸的块(chunk),把尺寸相同的分成组,即chunk的集合,每个集合称为slab

  • Memcached的内存分配以Page为单位,Page默认值为1M,可以在启动时通过参数-l来指定

  • Slab由多个Page组成

    

    一个Chunk最大不能超过1M,即一个Page

    一个Slab可能有多个Page


   原理图:

   wKiom1jdx8-D-uERAAKOh3dD0-A042.png


4. Growth factor

      Memcached在启动时可以通过-f参数可以指定Growth Factor因子(即Chunk之间的的增长比例),默认为1.25,通过memcached-tool 可以查看指定的memcached实际的不同slab状态


      命令:memcached-tool 127.0.0.1:11211 display


5. Memcached数据过期方式

  • Lazy Expiration:memcached内部不会监视是否过期,而是get时查看记录的时间戳,检查记录是否过期。这种技术称为lazy expiration。优点:memcached不会在过期监视上耗费CPU时间


  • LRU:memcached优先使用已超时的记录空间,会发生追加新记录空间不足的情况。从最近未被使用的记录中搜索,并将其空间分配给新的记录(即删除最近使用最少的记录的机制)。从缓存的使用角度看,该模型很理想



三、Redis介绍

    属于key-value存储系统,和memcached相似,但是支持数据持久化(重启服务器,数据还是存在)


   A. value类型:

        string、hash、lists(链表)、sets(集合)、sorted sets(有序集合)

   B. 文件格式:

       RDB(全量数据)把内存中的数据写入磁盘,下次读取文件时,进行加载

       aof(增量请求)内存中的数据有序化为操作请求,用于读取文件进行replay得到数据,相当于mysql的二进制日志

   C. 存储方式:

       内存存储、磁盘存储、log文件



四、MongoDB介绍

  • 由C++语言编写,是一套基于分布式文件存储的开源数据库系统,属于NoSQL

  • 高负载的情况下,可以添加更多的节点,保证服务器性能

  • 旨在为Web应用提供可扩展的高性能数据存储解决方案

  • 数据存储为一个文档,数据结构由键值对(key=>value)组成,文档类型于JSON对象。字段值可以包含其它文档,数组及文档数组


   和关系型数据库对比:

SQL 说明 MongoDB 说明
database 数据库 database 数据库
table collection 集合
row 记录行 document 文档
column 字段 field
index 索引 index 索引
table joins 表连接

primary key 主键 primary 自动将_id字段设置为主键










本文转自 huangzp168 51CTO博客,原文链接:http://blog.51cto.com/huangzp/1912030,如需转载请自行联系原作者
相关实践学习
基于Redis实现在线游戏积分排行榜
本场景将介绍如何基于Redis数据库实现在线游戏中的游戏玩家积分排行榜功能。
云数据库 Redis 版使用教程
云数据库Redis版是兼容Redis协议标准的、提供持久化的内存数据库服务,基于高可靠双机热备架构及可无缝扩展的集群架构,满足高读写性能场景及容量需弹性变配的业务需求。 产品详情:https://www.aliyun.com/product/kvstore     ------------------------------------------------------------------------- 阿里云数据库体验:数据库上云实战 开发者云会免费提供一台带自建MySQL的源数据库 ECS 实例和一台目标数据库 RDS实例。跟着指引,您可以一步步实现将ECS自建数据库迁移到目标数据库RDS。 点击下方链接,领取免费ECS&RDS资源,30分钟完成数据库上云实战!https://developer.aliyun.com/adc/scenario/51eefbd1894e42f6bb9acacadd3f9121?spm=a2c6h.13788135.J_3257954370.9.4ba85f24utseFl
目录
相关文章
|
7月前
|
缓存 NoSQL Redis
Python缓存技术(Memcached、Redis)面试题解析
【4月更文挑战第18天】本文探讨了Python面试中关于Memcached和Redis的常见问题,包括两者的基础概念、特性对比、客户端使用、缓存策略及应用场景。同时,文章指出了易错点,如数据不一致和缓存淘汰策略,并提供了实战代码示例,帮助读者掌握这两款内存键值存储系统的使用和优化技巧。通过理解其核心特性和避免常见错误,可以提升在面试中的表现。
106 2
|
2月前
|
NoSQL 网络协议 应用服务中间件
redis,memcached,nginx网络组件
redis,memcached,nginx网络组件
18 0
|
4月前
|
存储 NoSQL Redis
pyhon之对memcached及redis操作
pyhon之对memcached及redis操作
|
5月前
|
存储 缓存 NoSQL
Redis问题之Redis与Memcached的主要区别是什么
Redis问题之Redis与Memcached的主要区别是什么
|
7月前
|
NoSQL Redis 缓存
【后端面经】【缓存】36|Redis 单线程:为什么 Redis 用单线程而 Memcached 用多线程?
【5月更文挑战第17天】Redis常被称为单线程,但实际上其在处理命令时采用单线程,但在6.0后IO变为多线程。持久化和数据同步等任务由额外线程处理,因此严格来说Redis是多线程的。面试时需理解Redis的IO模型,如epoll和Reactor模式,以及其内存操作带来的高性能。Redis使用epoll进行高效文件描述符管理,实现高性能的网络IO。在讨论Redis与Memcached的线程模型差异时,应强调Redis的单线程模型如何通过内存操作和高效IO实现高性能。
98 7
【后端面经】【缓存】36|Redis 单线程:为什么 Redis 用单线程而 Memcached 用多线程?
|
7月前
|
NoSQL MongoDB Redis
Python与NoSQL数据库(MongoDB、Redis等)面试问答
【4月更文挑战第16天】本文探讨了Python与NoSQL数据库(如MongoDB、Redis)在面试中的常见问题,包括连接与操作数据库、错误处理、高级特性和缓存策略。重点介绍了使用`pymongo`和`redis`库进行CRUD操作、异常捕获以及数据一致性管理。通过理解这些问题、易错点及避免策略,并结合代码示例,开发者能在面试中展现其技术实力和实践经验。
490 9
Python与NoSQL数据库(MongoDB、Redis等)面试问答
|
7月前
|
缓存 NoSQL Redis
【后端面经】【缓存】36|Redis 单线程:为什么 Redis 用单线程而 Memcached 用多线程?--epoll调用和中断
【5月更文挑战第18天】`epoll`包含红黑树和就绪列表,用于高效管理文件描述符。关键系统调用有3个:`epoll_create()`创建epoll结构,`epoll_ctl()`添加/删除/修改文件描述符,`epoll_wait()`获取就绪文件描述符。`epoll_wait()`可设置超时时间(-1阻塞,0立即返回,正数等待指定时间)。当文件描述符满足条件(如数据到达)时,通过中断机制(如网卡或时钟中断)更新就绪列表,唤醒等待的进程。
78 6
|
7月前
|
缓存 NoSQL 中间件
【后端面经】【缓存】36|Redis 单线程:为什么 Redis 用单线程而 Memcached 用多线程?epoll、poll和select + Reactor模式
【5月更文挑战第19天】`epoll`、`poll`和`select`是Linux下多路复用IO的三种方式。`select`需要主动调用检查文件描述符,而`epoll`能实现回调,即使不调用`epoll_wait`也能处理就绪事件。`poll`与`select`类似,但支持更多文件描述符。面试时,重点讲解`epoll`的高效性和`Reactor`模式,该模式包括一个分发器和多个处理器,用于处理连接和读写事件。Redis采用单线程模型结合`epoll`的Reactor模式,确保高性能。在Redis 6.0后引入多线程,但基本原理保持不变。
68 2
|
7月前
|
缓存 NoSQL Redis
【后端面经】【缓存】36|Redis 单线程:为什么 Redis 用单线程而 Memcached 用多线程?-- Redis多线程
【5月更文挑战第21天】Redis启用多线程后,主线程负责接收事件和命令执行,IO线程处理读写数据。请求处理流程中,主线程接收客户端请求,IO线程读取并解析命令,主线程执行后写回响应。业界普遍认为,除非必要,否则不建议启用多线程模式,因单线程性能已能满足多数需求。公司实际场景中,启用多线程使QPS提升约50%,或选择使用Redis Cluster以提升性能和可用性。
56 0
|
7月前
|
NoSQL Redis 数据库
【后端面经】【缓存】36|Redis 单线程:为什么 Redis 用单线程而 Memcached 用多线程?-- Memcache + Redis 多线程
【5月更文挑战第20天】Redis采用单线程模式以避免上下文切换和资源竞争,简化调试,且其性能瓶颈在于网络IO和内存,而非多线程。相比之下,Memcache使用多线程能更好地利用多核CPU,但伴随上下文切换和锁管理的开销。尽管Redis单线程性能不俗,6.0版本引入多线程以提升高并发下的IO处理能力。启用多线程后,Redis结合Reactor和epoll实现并发处理,提高系统性能。
76 0