Not Only SQL (一) - Redis Introduce

本文涉及的产品
云数据库 Redis 版,社区版 2GB
推荐场景:
搭建游戏排行榜
简介: Not Only SQL (一) - Redis Introduce

一、什么是Redis

Redis是一个key-value数据库,采用ANSI C语言编写,并且完全开源免费。

Redis特点

  • 性能极高,Redis是一个基于内存的缓存工具,数据存储在内存中,读的速度可以达到110000次/s,写的速度可以达到81000次/s
  • 丰富的数据类型,Redis支持String,Hash,List,Set和Ordered Set(有序集合)等数据类型的操作
  • 原子性,Redis对所有的操作都是原子性的,要么执行成功,要么失败完全不执行,单个操作是原子性的,多个操作也支持事务,通过MULTI和EXEC指令包起来
  • 丰富的特性,Redis支持publish/subscribe,通知,key过期等特性
  • 高速读写,Redis使用自己实现的分离器,代码很短,没有使用lock,效率很高

Redis应用场景

可以用作数据库、缓存、秒杀、计数器、排行榜、热点数据(查询频次高,修改删除频次低的数据)、分布式锁、分布式ID和消息中间件大部分功能等与性能密切相关的场景中

  1. 缓存,几乎是所有大中型网站都在使用的必杀技,合理的利用缓存不仅能够提升网站的访问速度,还能很大程度上降低数据库的压力,Redis提供的Key过期功能以及灵活的Key淘汰策略
  2. 排行榜,如商品的销量排行榜,新闻排行榜等,Redis可以实现各种排行榜应用
  3. 计数器,如网站的商品浏览量,视频播放量,为了保证数据实时有效,每次浏览都要+1,高并发时每次+1都去请求数据库会对数据库造成非常大的压力,Redis提供了incr命令实现计数器功能,基于内存操作,性能非常好,非常适用于计数场景
  4. 分布式会话,集群模式下,在应用不多的情况下一般使用容器自带的session复制功能就能满足,在应用较多的情况下会使用Redis搭建内存数据库为中心的session服务,session不再由容器管理,而是由session服务及内存数据库管理
  5. 分布式锁,在很多互联网公司中都使用了分布式技术,分布式技术带来的技术挑战是对同一个资源的并发访问,如全局ID、减库 存、秒杀等场景,并发量不大的场景可以使用数据库的悲观锁、乐观锁来实现,但在并发量高的场合中,利用数据库锁 来控制资源的并发访问是不太理想的,大大影响了数据库的性能。可以利用Redis的setnx功能来编写分布式的锁,如 果设置返回1说明获取锁成功,否则获取锁失败,实际应用中要考虑的细节更多
  6. 社交网络,点赞、踩、关注/被关注、共同好友等是社交网站的基本功能,社交网站的访问量通常来说比较大,而且传统的关系数 据库类型不适合存储这种类型的数据,Redis提供的哈希、集合等数据结构能很方便的的实现这些功能。
  7. 最新列表,Redis列表结构,LPUSH可以在列表头部插入一个内容ID作为关键字,LTRIM可用来限制列表的数量,这样列表永远 为N个ID,无需查询最新的列表,直接根据ID去到对应的内容页即可。
  8. 消息系统,消息队列是大型网站必用中间件,如ActiveMQ、RabbitMQ、Kafka等流行的消息队列中间件,主要用于业务解耦、 流量削峰及异步处理实时性低的业务。Redis提供了发布/订阅及阻塞队列功能,能实现一个简单的消息队列系统。另外,这个不能和专业的消息中间件相比。

Redis优缺点

  • 性能极高
  • 丰富的数据类型
  • 原子性
  • publish/subscribe, 通知, key 过期等等特性
  • 高速读写
  • 持久化

Redis缺点是耗内存,因为是基于内存的;另外Redis难以支持在线扩容。

二、Redis安装

环境检查,首先确保已经安装gcc环境

yum -y install gcc automake autoconf libtool make
复制代码

安装Redis

# 下载redis二进制包
wget http://download.redis.io/releases/redis-6.2.2.tar.gz
# 解压到/opt目录下
tar zxvf redis-6.2.2.tar.gz -C /opt
# 编译
cd /opt/redis-6.2.2.tar.gz && make MALLOC=libc
# 指定安装位置
make PREFIX=/usr/local/redis install
复制代码

Mac设备可以使用Homebrew安装redis

brew install redis
复制代码

Mac查看安装及配置文件位置

  • Homebrew安装的软件会默认在/usr/local/Cellar/路径下
  • redis的配置文件redis.conf存放在/usr/local/etc路径下

三、Redis启动

启动Redis服务

进入命令行终端

cd /usr/local/redis
# 启动redis服务
./bin/redis-server
复制代码

Mac设备启动redis

# 启动redis服务
brew services start redis
redis-server
复制代码

redis服务启动成功后显示界面

image.png

也可以通过后台进程查看redis是否启动成功

ps axu | grep redis
复制代码

启动Redis客户端

启动redis客户端的语法

redis-cli –h IP地址 –p 端口 //默认IP本机 端口6379
复制代码

本机安装了redis服务可以直接输入redis-cli启动redis客户端

image.png

四、Redis配置

redis.conf

Redis默认定义了很多默认配置。但在实际开发中,一般我们都会通过手动配置完成。 回到安装目录下找 到解压文件中的reids.conf

Redis 的配置文件位于 Redis 安装目录下,文件名为 redis.conf

命令:解压目录下的redis.conf 配置文件复制 到安装文件的目录下

cp /opt/redis-6.2.2/redis.conf  /usr/local/redis/
复制代码
  1. Redis默认不是以守护进程的方式运行,可以通过该配置项修改,使用yes启用守护进程,使用yes既启动时不会在单独占据一个窗口,会在后台进行启动。
daemonize no
复制代码
  1. 当Redis以守护进程方式运行时,Redis默认会把pid写入/var/run/redis.pid文件,可以通过pidfile指定
pidfile /var/run/redis.pid
复制代码

image.png

3. 指定Redis监听端口,默认端口为6379,作者在自己的一篇博文中解释了为什么选用6379作为默认端口,因为 6379在手机按键上MERZ对应的号码,而MERZ取自意大利歌女Alessia Merz的名字

port 6379
复制代码
  1. 绑定的主机地址(默认只允许127.0.0.1Redis发起访问)
bind 127.0.0.1
复制代码
  1. 当客户端闲置多长时间后关闭连接,如果指定为0,表示关闭该功能
timeout 300
复制代码
  1. 指定日志记录级别,Redis总共支持四个级别:debug、verbose、notice、warning,默认为verbose loglevel verbose
  2. 日志记录方式,默认为标准输出,如果配置Redis为守护进程方式运行,而这里又配置为日志记录方式为标准输 出,则日志将会发送给/dev/null
logfile stdout
复制代码
  1. 设置数据库的数量,默认数据库为0,可以使用SELECT 命令在连接上指定数据库id
databases 16
复制代码
  1. 指定在多长时间内,有多少次更新操作,就将数据同步到数据文件,可以多个条件配合
save \<seconds> \<changes>\
复制代码

Redis默认配置文件中提供了三个条件:

save 900 1

save 300 10

save 60 10000 分别表示900秒(15分钟)内有1个更改,300秒(5分钟)内有10个更改以及60秒内有10000个更改。

  1. 指定存储至本地数据库时是否压缩数据,默认为yes,Redis采用LZF(压缩算法)压缩,如果为了节省CPU时 间,可以关闭该选项,但会导致数据库文件变的巨大
rdbcompression yes
复制代码
  1. 指定本地数据库文件名,默认值为dump.rdb
dbfilename dump.rdb
复制代码
  1. 指定本地数据库存放目录
dir ./
复制代码
  1. 设置当本机为slave服务时,设置master服务的IP地址及端口,在Redis启动时,它会自动从master进行数据 同步
slaveof <masterip> <masterport>
复制代码
  1. 当master服务设置了密码保护时,slave服务连接master的密码
masterauth <master-password>
复制代码
  1. 设置Redis连接密码,如果配置了连接密码,客户端在连接Redis时需要通过AUTH 命令提供密 码,默认关闭
requirepass foobared
复制代码

远程客户端连接带密码的redis服务

redis-cli -h 101.133.232.233 -p 6379 -a root
复制代码
  1. 设置同一时间最大客户端连接数,默认无限制,Redis可以同时打开的客户端连接数为Redis进程可以打开的最 大文件描述符数,如果设置 maxclients 0,表示不作限制。当客户端连接数到达限制时,Redis会关闭新的连接并 向客户端返回max number of clients reached错误信息
maxclients 128
复制代码
  1. 指定Redis最大内存限制,Redis在启动时会把数据加载到内存中,达到最大内存后,Redis会先尝试清除已到 期或即将到期的Key,当此方法处理 后,仍然到达最大内存设置,将无法再进行写入操作,但仍然可以进行读取操 作。Redis新的vm机制,会把Key存放内存,Value会存放在swap区
maxmemory <bytes>
复制代码
  1. 指定是否在每次更新操作后进行日志记录,Redis在默认情况下是异步的把数据写入磁盘,如果不开启,可能会 在断电时导致一段时间内的数据丢失。因为 redis本身同步数据文件是按上面save条件来同步的,所以有的数据会在 一段时间内只存在于内存中。默认为no
appendonly no
复制代码
  1. 指定更新日志文件名,默认为appendonly.aof
appendfilename appendonly.aof
复制代码
  1. 指定更新日志条件,共有3个可选值: no:表示等操作系统进行数据缓存同步到磁盘(快)
    always:表示每次更新操作后手动调用fsync()将数据写到磁盘(慢,安全)
    everysec:表示每秒同步一次(折衷,默认值)
appendfsync everysec
复制代码
  1. 指定是否启用虚拟内存机制,默认值为no,简单的介绍一下,VM机制将数据分页存放,由Redis将访问量较少的 页即冷数据swap到磁盘上,访问多的页面由磁盘自动换出到内存中(在后面的文章我会仔细分析Redis的VM机制)
vm-enabled no
复制代码
  1. 虚拟内存文件路径,默认值为/tmp/redis.swap,不可多个Redis实例共享
vm-swap-file /tmp/redis.swap
复制代码
  1. 将所有大于vm-max-memory的数据存入虚拟内存,无论vm-max-memory设置多小,所有索引数据都是内存存储 的(Redis的索引数据 就是keys),也就是说,当vm-max-memory设置为0的时候,其实是所有value都存在于磁盘。 默认值为0
vm-max-memory 0
复制代码
  1. Redis swap文件分成了很多的page,一个对象可以保存在多个page上面,但一个page上不能被多个对象共 享,vm-page-size是要根据存储的 数据大小来设定的,作者建议如果存储很多小对象,page大小最好设置为32或 者64bytes;如果存储很大大对象,则可以使用更大的page,如果不 确定,就使用默认值
vm-page-size 32
复制代码
  1. 设置swap文件中的page数量,由于页表(一种表示页面空闲或使用的bitmap)是在放在内存中的,,在磁盘上 每8个pages将消耗1byte的内存。
vm-pages 134217728
复制代码
  1. 设置访问swap文件的线程数,最好不要超过机器的核数,如果设置为0,那么所有对swap文件的操作都是串行的, 可能会造成比较长时间的延迟。默认值为4
vm-max-threads 4
复制代码
  1. 设置在向客户端应答时,是否把较小的包合并为一个包发送,默认为开启
glueoutputbuf yes
复制代码
  1. 指定在超过一定的数量或者最大的元素超过某一临界值时,采用一种特殊的哈希算法
hash-max-zipmap-entries 64
hash-max-zipmap-value 512
复制代码
  1. 指定是否激活重置哈希,默认为开启(后面在介绍Redis的哈希算法时具体介绍)
activerehashing yes
复制代码
  1. 指定包含其它的配置文件,可以在同一主机上多个Redis实例之间使用同一份配置文件,而同时各个实例又拥有自己的特定配置文件
include /path/to/local.conf
复制代码

Redis中的内存维护策略

redis作为优秀的中间缓存件,时常会存储大量的数据,即使采取了集群部署来动态扩容,也应该即时的 整理内存,维持系统性能。

第一种方式为 数据设置超时时间

expire key time(以秒为单位)--这是最常用的方式\
setex(String key, int seconds, String value)--字符串独有的方式
复制代码
  • 除了字符串自己独有设置过期时间的方法外,其他方法都需要依靠expire方法来设置时间
  • 如果没有设置时间,那缓存就是永不过期
  • 如果设置了过期时间,之后又想让缓存永不过期,使用persist key

第二种方式为 采用LRU算法动态将不用的数据删除

内存管理的一种页面置换算法,对于在内存中但又不用的数据块(内存块)叫做LRU, 操作系统会根据哪些数据属于LRU而将其移出内存而腾出空间来加载另外的数据。

  1. volatile-lru :设定超时时间的数据中,删除最不常使用的数据.
  2. allkeys-lru :查询所有的key中最近最不常使用的数据进行删除,这是应用最广泛的策略. volatile-random:在已经设定了超时的数据中随机删除.
  3. allkeys-random:查询所有的key,之后随机删除.
  4. volatile-ttl:查询全部设定超时时间的数据,之后排序,将马上将要过期的数据进行删除操作. noeviction:如果设置为该属性,则不会进行删除操作,如果内存溢出则报错返回.
  5. volatile-lfu:从所有配置了过期时间的键中驱逐使用频率最少的键
  6. allkeys-lfu:从所有键中驱逐使用频率最少的键

自定义Redis配置

进入对应的安装目录 /usr/local/redis 修改 redis.conf 配置文件 vim redis.conf (进入命令模式 通过/内容 查找相应字符串)

daemonize no 修改为 daemonize yes 守护进程启动\
bind 127.0.01 注释掉 允许除本机外的机器访问Redis服务\
requirepass 设置密码 设定数据库密码 (保证服务安全/有些情况下不设定密码是无法进行远程连接访问的)
复制代码

Redis采用的是单进程多线程的模式。当redis.conf中选项daemonize设置成yes时,代表开启守护进 程模式。在该模式下,redis会在后台运行,并将进程pid号写入至redis.conf选项pidfile设置的文件 中,此时redis将一直运行,除非手动kill该进程。但当daemonize选项设置成no时,当前界面将进 入redis的命令行界面,exit强制退出或者关闭连接工具(putty,xshell等)都会导致redis进程退出。服务端开发的大部分应用都是采用后台运行的模式

requirepass设置密码。因为redis速度相当快,所以一台比较好的服务器下,一个外部用户在一秒内 可以进行15W次密码尝试,这意味着你需要设定非常强大的密码来防止暴力破解。

可以通过 redis 的配置文件设置密码参数,这样客户端连接到 redis 服务就需要密码验证,这样可 以让你的 redis 服务更安全

五、Redis关闭

第一种关闭方式:

(断电、非正常关闭。容易数据丢失)

# 查询redis进程id 
PID ps -ef | grep -i redis
# kill对 查询的id进行强制关闭 
kill -9 PID
复制代码

第二种关闭方式

(正常关闭、数据保存)

关闭redis服务,通过客户端进行shutdown

shutdown命令会终止服务器上的所有客户端连接,并终止服务器。

如果redis设置了密码,需要先在客户端通过密码登录,再进行shutdown即可关闭服务端


相关实践学习
基于Redis实现在线游戏积分排行榜
本场景将介绍如何基于Redis数据库实现在线游戏中的游戏玩家积分排行榜功能。
云数据库 Redis 版使用教程
云数据库Redis版是兼容Redis协议标准的、提供持久化的内存数据库服务,基于高可靠双机热备架构及可无缝扩展的集群架构,满足高读写性能场景及容量需弹性变配的业务需求。 产品详情:https://www.aliyun.com/product/kvstore &nbsp; &nbsp; ------------------------------------------------------------------------- 阿里云数据库体验:数据库上云实战 开发者云会免费提供一台带自建MySQL的源数据库&nbsp;ECS 实例和一台目标数据库&nbsp;RDS实例。跟着指引,您可以一步步实现将ECS自建数据库迁移到目标数据库RDS。 点击下方链接,领取免费ECS&amp;RDS资源,30分钟完成数据库上云实战!https://developer.aliyun.com/adc/scenario/51eefbd1894e42f6bb9acacadd3f9121?spm=a2c6h.13788135.J_3257954370.9.4ba85f24utseFl
相关文章
|
2月前
|
SQL 存储 NoSQL
SQL实践篇(三):什么是Redis
SQL实践篇(三):什么是Redis
25 1
|
10月前
|
存储 SQL 监控
优质!从Sql到Nosql,redis+mysql从架构到优化全覆盖
Redis是一个远程内存数据库,它不仅性能强劲,而且还具有复制特性以及为解决问题而生的独一无二的数据模型。Redis 提供了5种不同类型的数据结构,各式各样的问题都可以很自然地映射到这些数据结构上:Redis的数据结构致力于帮助用户解决问题,而不会像其他数据库那样,要求用户扭曲问题来适应数据库。除此之外,通过复制、持久化( persistence )和客户端分片( client side sharding )等特性,用户可以很方便地将Redis扩展成一个能够包含数百GB数据、每秒处理上百万次请求的系统。
|
SQL NoSQL MongoDB
Not Only SQL (五) - MongoDB Introduce & CRUD (下)
Not Only SQL (五) - MongoDB Introduce & CRUD (下)
Not Only SQL (五) - MongoDB Introduce & CRUD (下)
|
SQL NoSQL MongoDB
Not Only SQL (四) - MongoDB Introduce & CRUD (中)
Not Only SQL (四) - MongoDB Introduce & CRUD (中)
Not Only SQL (四) - MongoDB Introduce & CRUD (中)
|
存储 SQL NoSQL
Not Only SQL (三) - MongoDB Introduce & CRUD (上)
Not Only SQL (三) - MongoDB Introduce & CRUD (上)
Not Only SQL (三) - MongoDB Introduce & CRUD (上)
|
存储 SQL JSON
Not Only SQL (二) - Redis Command
Not Only SQL (二) - Redis Command
|
存储 SQL 缓存
SQL:redis缓存数据库深入
SQL:redis缓存数据库深入
169 0
|
SQL 存储 NoSQL
Flink SQL 自定义 redis connector
一般情况下,我们不需要创建新的 connector,因为 Flink SQL 已经内置了丰富的 connector 供我们使用,但是在实际生产环境中我们的存储是多种多样的,所以原生的 connector 并不能满足所有用户的需求,这个时候就需要我们自定义 connector,这篇文章的重点就是介绍一下如何实现自定义 Flink SQL connector ? 先来看一下官网的一张 connector 架构图:
Flink SQL 自定义 redis connector
|
存储 SQL 缓存
SQL:redis缓存数据库深入
SQL:redis缓存数据库深入
117 0
|
SQL NoSQL 数据库
Data Lake Analytics: 以SQL方式查询Redis数据
Data Lake Analytics 作为云上数据处理的枢纽,最近加入了对于Redis 的支持, 这篇教程带你玩转 DLA 的 Redis 支持。 创建数据库 在 DLA 里面创建一个底层映射到 Redis 的数据库的语法如下: CREATE DATABASE `redis_test` WIT...
1909 0

热门文章

最新文章