Redis 一个key-value存储系统 简介

本文涉及的产品
云数据库 Redis 版,社区版 2GB
推荐场景:
搭建游戏排行榜
简介:

简介  redis是一个key-value存储系统。和Memcached类似,它支持存储的value类型相对更多,包括string(字符串)、list(链表)、set(集合)和zset(有序集合)。这些数据类型都支持push/pop、add/remove及取交集并集和差集及更丰富的操作,而且这些操作都是原子性的。在此基础上,redis支持各种不同方式的排序。与memcached一样,为了保证效率,数据都是缓存在内存中。区别的是redis会周期性的把更新的数据写入磁盘或者把修改操作写入追加的记录文件,并且在此基础上实现了master-slave(主从)同步。

 

性能

  下面是官方的bench-mark数据:

 

  The test was done with 50 simultaneous clients performing 100000 requests.

 

  The value SET and GET is a 256 bytes string.

 

  The Linux box is running Linux 2.6, it’s Xeon X3320 2.5Ghz.

 

  Text executed using the loopback interface (127.0.0.1).

 

  Results: about 110000 SETs per second, about 81000 GETs per second

 

数据结构

  redis目前提供四种数据类型:string,list,set及zset(sorted set)。

sds(字符串)

  string是最简单的类型,你可以理解成与Memcached一模一个的类型,一个key对应一个value,其上支持的操作与Memcached的操作类似。但它的功能更丰富。

 

  redis采用结构sdshdr和sds封装了字符串,字符串相关的操作实现在源文件sds.h/sds.c中。sdshdr

 

  数据结构定义如下:

 

  typedef char *sds;

 

  struct sdshdr {

 

  long len;

 

  long free;

 

  char buf[];

 

  };

list(双向链表)

  list是一个链表结构,主要功能是push、pop、获取一个范围的所有值等等。操作中key理解为链表的名字。

 

  对list的定义和实现在源文件adlist.h/adlist.c,相关的数据结构定义如下:

 

  // list迭代器

 

  typedef struct listIter {

 

  listNode *next;

 

  int direction;

 

  } listIter;

 

  // list数据结构

 

  typedef struct list {

 

  listNode *head;

 

  listNode *tail;

 

  void *(*dup)(void *ptr);

 

  void (*free)(void *ptr);

 

  int (*match)(void *ptr, void *key);

 

  unsigned int len;

 

  listIter iter;

 

  } list;

dict(hash表)

  set是集合,和我们数学中的集合概念相似,对集合的操作有添加删除元素,有对多个集合求交并差等操作。操作中key理解为集合的名字。

 

  在源文件dict.h/dict.c中实现了hashtable的操作,数据结构的定义如下:

 

  // dict中的元素项

 

  typedef struct dictEntry {

 

  void *key;

 

  void *val;

 

  struct dictEntry *next;

 

  } dictEntry;

 

  // dict相关配置函数

 

  typedef struct dictType {

 

  unsigned int (*hashFunction)(const void *key);

 

  void *(*keyDup)(void *privdata, const void *key);

 

  void *(*valDup)(void *privdata, const void *obj);

 

  int (*keyCompare)(void *privdata, const void *key1, const void *key2);

 

  void (*keyDestructor)(void *privdata, void *key);

 

  void (*valDestructor)(void *privdata, void *obj);

 

  } dictType;

 

  // dict定义

 

  typedef struct dict {

 

  dictEntry **table;

 

  dictType *type;

 

  unsigned long size;

 

  unsigned long sizemask;

 

  unsigned long used;

 

  void *privdata;

 

  } dict;

 

  // dict迭代器

 

  typedef struct dictIterator {

 

  dict *ht;

 

  int index;

 

  dictEntry *entry, *nextEntry;

 

  } dictIterator;

 

  dict中table为dictEntry指针的数组,数组中每个成员为hash值相同元素的单向链表。set是在dict的基础上实现的,指定了key的比较函数为dictEncObjKeyCompare,若key相等则不再插入。

zset(排序set)

  zset是set的一个升级版本,他在set的基础上增加了一个顺序属性,这一属性在添加修改元素的时候可以指定,每次指定后,zset会自动重新按新的值调整顺序。可以理解了有两列的mysql表,一列存value,一列存顺序。操作中key理解为zset的名字。

 

  typedef struct zskiplistNode {

 

  struct zskiplistNode **forward;

 

  struct zskiplistNode *backward;

 

  double score;

 

  robj *obj;

 

  } zskiplistNode;

 

  typedef struct zskiplist {

 

  struct zskiplistNode *header, *tail;

 

  unsigned long length;

 

  int level;

 

  } zskiplist;

 

  typedef struct zset {

 

  dict *dict;

 

  zskiplist *zsl;

 

  } zset;

 

  zset利用dict维护key -> value的映射关系,用zsl(zskiplist)保存value的有序关系。zsl实际是叉数

 

  不稳定的多叉树,每条链上的元素从根节点到叶子节点保持升序排序。

 

存储结构以及存储格式

  redis使用了两种文件格式:全量数据和增量请求。全量数据格式是把内存中的数据写入磁盘,

 

  便于下次读取文件进行加载;增量请求文件则是把内存中的数据序列化为操作请求,用于读取文件进行replay得到数据,序列化的操作包括SET、RPUSH、SADD、ZADD。

 

  redis的存储分为内存存储、磁盘存储和log文件三部分,配置文件中有三个参数对其进行配置。

 

  save seconds updates,save配置,指出在多长时间内,有多少次更新操作,就将数据同步到数据文件。这个可以多个条件配合,比如默认配置文件中的设置,就设置了三个条件。

 

  appendonly yes/no ,appendonly配置,指出是否在每次更新操作后进行日志记录,如果不开启,可能会在断电时导致一段时间内的数据丢失。因为redis本身同步数据文件是按上面的save条件来同步的,所以有的数据会在一段时间内只存在于内存中。

 

  appendfsync no/always/everysec ,appendfsync配置,no表示等操作系统进行数据缓存同步到磁盘,always表示每次更新操作后手动调用fsync()将数据写到磁盘,everysec表示每秒同步一次。

 

常用命令

  就DB来说,Redis成绩已经很惊人了,且不说memcachedb和tokyocabinet之流,就说原版的memcached,速度似乎也只能达到这个级别。Redis根本是使用内存存储,持久化的关键是这三条指令:SAVE BGSAVE LASTSAVE …

 

  当接收到SAVE指令的时候,Redis就会dump数据到一个文件里面。

 

  值得一说的是它的独家功能:存储列表和集合,这是它与mc之流相比更有竞争力的地方。

 

  不介绍mc里面已经有的东东,只列出特殊的:

 

  TYPE key — 用来获取某key的类型

 

  KEYS pattern — 匹配所有符合模式的key,太淫荡了,比如KEYS * 就列出所有的key了,当然,复杂度O(n)

 

  RANDOMKEY - 返回随机的一个key

 

  RENAME oldkey newkey — key也可以改名

 

  列表操作,精华

 

  RPUSH key string — 将某个值加入到一个key列表头部

 

  LPUSH key string — 将某个值加入到一个key列表末尾

 

  LLEN key — 列表长度

 

  LRANGE key start end — 返回列表中某个范围的值,相当于mysql里面的分页查询那样

 

  LTRIM key start end — 只保留列表中某个范围的值

 

  LINDEX key index — 获取列表中特定索引号的值,要注意是O(n)复杂度

 

  LSET key index value — 设置列表中某个位置的值

 

  LPOP key

 

  RPOP key — 和上面的LPOP一样,就是类似栈或队列的那种取头取尾指令,可以当成消息队列来使用了

 

  集合操作

 

  SADD key member — 增加元素

 

  SREM key member — 删除元素

 

  SCARD key — 返回集合大小

 

  SISMEMBER key member — 判断某个值是否在集合中

 

  SINTER key1 key2 ... keyN — 获取多个集合的交集元素

 

  SMEMBERS key — 列出集合的所有元素

 

  还有Multiple DB的命令,可以更换db,数据可以隔离开,默认是存放在DB 0

 

安装Redi

获取源码、解压、进入源码目录

  使用wget工具等下载:

 

  wget (百度不让用链接)

 

  tar xzf redis-1.2.6.tar.gz

 

  cd redis-1.2.6

编译生成可执行文件

  由于makefile文件已经写好,我们只需要直接在源码目录执行make命令进行编译即可:

 

  make

 

  make命令执行完成后,会在当前目录下生成本个可执行文件,分别是redis-server、redis-cli、redis-benchmark、redis-stat,它们的作用如下:

 

  redis-server:Redis服务器的daemon启动程序

 

  redis-cli:Redis命令行操作工具。当然,你也可以用telnet根据其纯文本协议来操作

 

  redis-benchmark:Redis性能测试工具,测试Redis在你的系统及你的配置下的读写性能

 

  redis-stat:Redis状态检测工具,可以检测Redis当前状态参数及延迟状况。

建立Redis目录(非必须)

  这个过程不是必须的,只是为了将Redis相关的资源统一管理而进行的操作。

 

  执行以下命令建立相关目录并拷贝相关文件至目录中:

 

  sudo -s

 

  mkdir -p /usr/local/redis/bin

 

  mkdir -p /usr/local/redis/etc

 

  mkdir -p /usr/local/redis/var

 

  cp redis-server redis-cli redis-benchmark redis-stat /usr/local/redis/bin/

 

  cp redis.conf /usr/local/redis/etc/

配置参数

  在我们成功安装Redis后,我们直接执行redis-server即可运行Redis,此时它是按照默认配置来运行的(默认配置甚至不是后台运行)。我们希望Redis按我们的要求运行,则我们需要修改配置文件,Redis的配置文件就是我们上面第二个cp操作的redis.conf文件,目前它被我们拷贝到了/usr/local/redis/etc/目录下。修改它就可以配置我们的server了。如何修改?下面是redis.conf的主要配置参数的意义:

 

  daemonize:是否以后台daemon方式运行

 

  pidfile:pid文件位置

 

  port:监听的端口号

 

  timeout:请求超时时间

 

  loglevel:log信息级别

 

  logfile:log文件位置

 

  databases:开启数据库的数量

 

  save * *:保存快照的频率,第一个*表示多长时间,第三个*表示执行多少次写操作。在一定时间内执行一定数量的写操作时,自动保存快照。可设置多个条件。

 

  rdbcompression:是否使用压缩

 

  dbfilename:数据快照文件名(只是文件名,不包括目录)

 

  dir:数据快照的保存目录(这个是目录)

 

  appendonly:是否开启appendonlylog,开启的话每次写操作会记一条log,这会提高数据抗风险能力,但影响效率。

 

  appendfsync:appendonlylog如何同步到磁盘(三个选项,分别是每次写都强制调用fsync、每秒启用一次fsync、不调用fsync等待系统自己同步)

 

  下面是一个略做修改后的配置文件内容:

 

  daemonize yes

 

  pidfile /usr/local/redis/var/redis.pid

 

  port 6379

 

  timeout 300

 

  loglevel debug

 

  logfile /usr/local/redis/var/redis.log

 

  databases 16

 

  save 900 1

 

  save 300 10

 

  save 60 10000

 

  rdbcompression yes

 

  dbfilename dump.rdb

 

  dir /usr/local/redis/var/

 

  appendonly no

 

  appendfsync always

 

  glueoutputbuf yes

 

  shareobjects no

 

  shareobjectspoolsize 1024

 

  将上面内容写为redis.conf并保存到/usr/local/redis/etc/目录下

 

  然后在命令行执行:

 

  /usr/local/redis/bin/redis-server /usr/local/redis/etc/redis.conf

 

  即可在后台启动redis服务,这时你通过

 

  telnet 127.0.0.1 6379

 

  即可连接到你的redis服务



本文转自左正博客园博客,原文链接:http://www.cnblogs.com/soundcode/archive/2011/07/26/2117581.html,如需转载请自行联系原作者

相关实践学习
基于Redis实现在线游戏积分排行榜
本场景将介绍如何基于Redis数据库实现在线游戏中的游戏玩家积分排行榜功能。
云数据库 Redis 版使用教程
云数据库Redis版是兼容Redis协议标准的、提供持久化的内存数据库服务,基于高可靠双机热备架构及可无缝扩展的集群架构,满足高读写性能场景及容量需弹性变配的业务需求。 产品详情:https://www.aliyun.com/product/kvstore     ------------------------------------------------------------------------- 阿里云数据库体验:数据库上云实战 开发者云会免费提供一台带自建MySQL的源数据库 ECS 实例和一台目标数据库 RDS实例。跟着指引,您可以一步步实现将ECS自建数据库迁移到目标数据库RDS。 点击下方链接,领取免费ECS&RDS资源,30分钟完成数据库上云实战!https://developer.aliyun.com/adc/scenario/51eefbd1894e42f6bb9acacadd3f9121?spm=a2c6h.13788135.J_3257954370.9.4ba85f24utseFl
目录
相关文章
|
16天前
|
存储 缓存 NoSQL
深入解析Redis:一种快速、高效的键值存储系统
**Redis** 是一款高性能的键值存储系统,以其内存数据、高效数据结构、持久化机制和丰富的功能在现代应用中占有一席之地。支持字符串、哈希、列表、集合和有序集合等多种数据结构,适用于缓存、计数、分布式锁和消息队列等场景。安装Redis涉及下载、编译和配置`redis.conf`。基本操作包括键值对的设置与获取,以及哈希、列表、集合和有序集合的操作。高级特性涵盖发布/订阅、事务处理和Lua脚本。优化策略包括选择合适数据结构、配置缓存和使用Pipeline。注意安全、监控和备份策略,以确保系统稳定和数据安全。
211 1
|
3月前
|
NoSQL 关系型数据库 MySQL
Redis之秒杀系统
秒杀是一种高并发场景,通常指的是在短时间内(秒级别)有大量用户同时访问某个商品或服务,争相抢购的情景。在这种情况下,系统需要处理大量并发请求,确保公平性、一致性,并防止因并发而导致的问题,例如超卖、恶意请求等。以下是在高并发秒杀场景下需要考虑的一些关键问题和解决方案:
|
1月前
|
NoSQL Linux Redis
Linux系统中安装redis+redis后台启动+常见相关配置
Linux系统中安装redis+redis后台启动+常见相关配置
|
27天前
|
存储 NoSQL 算法
【Redis技术进阶之路】「底层源码解析」揭秘高效存储模型与数据结构底层实现(字典)(二)
【Redis技术进阶之路】「底层源码解析」揭秘高效存储模型与数据结构底层实现(字典)
43 0
|
7天前
|
人工智能 前端开发 Java
Java语言开发的AI智慧导诊系统源码springboot+redis 3D互联网智导诊系统源码
智慧导诊解决盲目就诊问题,减轻分诊工作压力。降低挂错号比例,优化就诊流程,有效提高线上线下医疗机构接诊效率。可通过人体画像选择症状部位,了解对应病症信息和推荐就医科室。
146 10
|
27天前
|
存储 NoSQL Redis
作者推荐 |【Redis技术进阶之路】「原理系列开篇」揭秘高效存储模型与数据结构底层实现(SDS)(三)
作者推荐 |【Redis技术进阶之路】「原理系列开篇」揭秘高效存储模型与数据结构底层实现(SDS)
28 0
|
1月前
|
消息中间件 存储 NoSQL
【Redis项目实战】使用Springcloud整合Redis分布式锁+RabbitMQ技术实现高并发预约管理处理系统
【Redis项目实战】使用Springcloud整合Redis分布式锁+RabbitMQ技术实现高并发预约管理处理系统
|
2月前
|
存储 缓存 NoSQL
为什么要在 Redis 中存储两次同一份数据?
为什么要在 Redis 中存储两次同一份数据?
38 0
为什么要在 Redis 中存储两次同一份数据?
|
2月前
|
存储 NoSQL 关系型数据库
轻松打卡:使用Spring Boot和Redis Bitmap构建高效签到系统【redis实战 四】
轻松打卡:使用Spring Boot和Redis Bitmap构建高效签到系统【redis实战 四】
66 0
|
2月前
|
存储 缓存 NoSQL
Redis数据结构的奇妙世界:一窥底层存储机制【redis第一部分】
Redis数据结构的奇妙世界:一窥底层存储机制【redis第一部分】
74 0

热门文章

最新文章