好饭不怕晚,扒一下Redis配置文件的底Ku

本文涉及的产品
Redis 开源版,标准版 2GB
推荐场景:
搭建游戏排行榜
云数据库 Tair(兼容Redis),内存型 2GB
日志服务 SLS,月写入数据量 50GB 1个月
简介: 好饭不怕晚,扒一下Redis配置文件的底Ku

忙碌是一种幸福,让我们没时间体会痛苦;奔波是一种快乐,让我们真实地感受生活;疲惫是一种享受,让我们无暇空虚。这几句话就能简单概括我最近的工作和生活。

好多小伙伴都来私信“催更”,今天它来了!为了表达阿Q的歉意,特赠送「亿级流量Java高并发与网络编程实战」一本,规则见文末。

在往期的文章中我们已经对Redis的概念和基本命令进行了讲解,今天我们来看下它的配置文件,Redis的配置文件在我们的开发和实际应用中起着非常重要的作用。

我们可以在安装目录下找到redis.conf配置文件,通过vim命令进行查看,为了防止配置文件进行更改,大家在使用前一定要备份一下!

本文Redis的版本为5.0.7

UNITS

1k => 1000 bytes
1kb => 1024 bytes
1m => 1000000 bytes
1mb => 1024*1024 bytes
1g => 1000000000 bytes
1gb => 1024*1024*1024 bytes

单位不区分大小写,只支持bytes

INCLUDES

structs2配置文件类似,可以通过includes包含。redis.conf可以作为总闸,包含其他。

include /path/to/local.conf
include /path/to/other.conf

MODULES

loadmodule /path/to/my_module.so
loadmodule /path/to/other_module.so

Redis可以通过loadmodule选项在启动时加载模块,若服务端无法加载模块,服务端会停止。可以通过多个loadmodule选项加载多个模块。

NETWORK

  • 「bind 127.0.0.1」:默认情况下,如果未指定“bind”配置指令,Redis将侦听服务器上所有可用网络接口的连接。

可以使用“bind”配置指令,后跟一个或多个IP地址,只侦听一个或多个选定接口。「例如:」bind 192.168.1.100 10.0.0.1

当设置多个bind地址后,Redis内部会维护多个Socket,每个Socket用于一个network interface

  • 「protected-mode yes」:此选项默认开启。

Redis服务端未使用bind选项显式指定要监听的network interface,并且未设置密码,Redis服务端只会接受来自127.0.0.1::1的客户端以及Unix域的Socket进行连接。

  • 「port 6379」:用于设置Redis监听的TCP端口,默认为6379,设置为0表示不监听TCP端口
  • 「timeout 0」:空闲多少秒之后关闭连接,“0”表示不关闭
  • 「tcp-keepalive 300」:单位为秒,如果为0,则不会进行keepalive检测,建议设置成60
  • 「tcp-backlog 511」:设置tcpbacklogbacklog其实是一个连接队列。

backlog队列总和 = 未完成三次握手队列 + 已经完成三次握手队列

在高并发环境下需要一个高backlog值来避免慢客户端连接问题。

「注意」Linux内核会将这个值减小到/proc/sys/net/core/somaxconn的值,所以需要确认增大somaxconntcp_max_syn_backlog两个值来达到想要的效果。

GENERAL

daemonize

Redis采用的是单进程多线程的模式,daemonize是用来指定redis是否要用守护线程的方式启动。默认情况下,Redis不作为守护进程运行。如果需要,请使用“是”。

#daemonize no 
//当前界面将进入redis的命令行界面,
exit强制退出或者关闭连接工具(putty,
xshell等)都会导致redis进程退出。
daemonize yes     
//代表开启守护进程模式。在该模式下,
redis 会在后台运行,并将进程 pid 号写入
至 redis.conf 选项 pidfile 设置的文件中,
此时 redis 将一直运行,除非手动kill该进程。

supervised no

当你通过upstart或者systemd运行Redis时,Redis可以和你的supervision tree进行交互,可选的选项为:

  • no 无交互(默认)
  • upstart 通过向Redis发送SIGSTOP信号来通知upstart
  • systemd 通过向$NOTIFY_SOCKET写入READY=1来通知systemd
  • auto 通过是否设置了UPSTART_JOB或者NOTIFY_SOCKET环境变量来决定选项为 upstart或者systemd

pidfile

pidfile /var/run/redis_6379.pid //进程pid文件

loglevel notice

指定服务器日志级别:从上到下依次减少

  • debug:大量信息,对开发/测试有用
  • verbose:许多很少有用的信息,但不像调试级别那样混乱
  • notice:适度冗长,可能是生产中需要的内容
  • warning:只记录非常重要/关键的消息

logfile

logfile ""

日志的名字,如果为空,redis给控制台标准输出,如果配置为守护进程方式运行,且设置了logfilestdout,则日志将会发送给/dev/null

database

databases 16

系统默认的库16个,默认使用0库

syslog

  • syslog-enabled no:是否把日志输出到syslog中,系统日志默认是关着
  • syslog-ident redis:指定syslog里的日志标志设备以redis开头
  • syslog-facility local0:指定syslog设备,值可以是USERLOCAL0-LOCAL7,默认使用local0

Security (安全)

requirepass 12345!@#

设置redis连接密码,如果配置了连接密码,客户端在连接redis时需要通过Auth <password>命令提供密码,默认关闭。

如果设置完密码,ping就失败了,提示“NoAuth Authentication required”,加上auth + 密码就通了。

「要求必须auth + password 在任何命令之前」

Redis一般做的是缓存,不是安全,而且系统会认为Linux是在安全的环境下。

CLIENTS

maxclients 10000:最大连接数

设置redis同时可以与多少个客户端进行连接。默认情况下为10000个客户端。

当你无法设置进程文件句柄限制时,redis会设置为当前的文件句柄限制值减去32,因为redis会为自身内部处理逻辑留一些句柄出来。

如果达到了此限制,redis则会拒绝新的连接请求,并且向这些连接请求方发出「max number of clients reached」以作回应。

MEMORY MANAGEMENT

设置redis可以使用的内存量。一旦到达内存使用上限,redis将会试图移除内部数据,移除规则可以通过maxmemory-policy来指定。

如果redis无法根据移除规则来移除内存中的数据,或者设置了「不允许移除」,那么redis则会针对那些需要申请内存的指令返回错误信息,比如SETLPUSH等。但是对于无内存申请的指令,仍然会正常响应,比如GET等。

如果你的redis是主redis(说明你的redis有从redis),那么在设置内存使用上限时,需要在系统中留出一些内存空间给同步队列缓存,只有在你设置的是“不移除”的情况下,才不用考虑这个因素。

最大缓存

#maxmemory <bytes>
maxmemory 128MB

设置maxmemory和相对应的回收策略算法,设置最好为物理内存的「3/4」,或者比例更小,因为redis复制数据等其他服务时,也是需要缓存的。以防缓存数据过大致使redis崩溃,造成系统出错不可用。

牺牲一部分缓存数据,保存整体系统可用性。redis新的内存机制,会把key放在内存,value存放在swap区。

此配置需要和「maxmemory-policy」配合使用,当redis中内存数据达到maxmemory时,触发「清除策略」。在「内存不足」时,任何write操作(比如setlpush等)都会触发「清除策略」的执行。

实际环境

建议redis的所有物理机器的硬件配置保持一致(内存一致),同时确保master/replica「maxmemory policy」配置一致。

内存满时

如果还接收到set命令,redis将先尝试剔除设置过expire信息的key,而不管该key的过期时间有没有到达。

在删除时,将按照过期时间进行删除,最早将要被过期的key将最先被删除。如果带有expire信息的key都删光了,内存还不够用,那么将返回错误。这样,redis将不再接收写请求,只接收get请求。

maxmemory的设置比较适合于把redis当作于类似memcached的缓存来使用。

最大缓存策略

「maxmemory-policy」:

  • volatile-lru:使用LRU(最近最少使用)算法移除key,只对设置了过期时间的键
  • allkeys-lru:使用LRU算法移除key(所有key
  • volatile-lfu:对过期键使用 LFU(最不经常使用)近似算法
  • allkeys-lfu:对所有键使用 LFU 近似算法
  • volatile-random:在过期集合中移除随机的key,只对设置了过期时间的键
  • allkeys-random:移除随机的key
  • volatile-ttl:移除那些TTL值最小的key,即那些最近要过期的key
  • noeviction:不进行移除。针对写操作,只是返回错误信息(默认)(去公司观察维度,不应该选择这个)

LRU算法、LFU算法或者TTL算法都是不是很精确算法,而是个近似算法。

「使用策略规则:」

  1. 如果数据呈现幂律分布,也就是一部分数据访问频率高,一部分数据访问频率低,则使用allkeys-lru
  2. 如果数据呈现平等分布,也就是所有的数据访问频率都相同,则使用allkeys-random

样本数量

设置样本数量,上边提到的算法都并非是精确的算法,而是估算值,所以你可以设置样本的大小。

maxmemory-samples 5

默认值是 5,也就是说Redis随机挑出5个键,然后选出一个最符合条件的。对LRU来说5是比较合适的。10已经很接近于真正的LRU,但会消耗更多的CPU。3会更快但没有那么精确。

副本忽略最大内存

replica-ignore-maxmemory yes

Redis 5开始,默认情况下,replica节点会忽略maxmemory设置(除非在发生failover后,此节点被提升为master节点)。

这意味着只有master才会执行过期删除策略,并且master在删除键之后会对replica发送DEL命令。

这个行为保证了masterreplicas的一致性,并且这通常也是你需要的,但是若你的replica节点是可写的,或者你希望replica节点有不同的内存配置,并且你确保所有到replica写操作都幂等的,那么你可以修改这个默认的行为 (请确保你明白你在做什么)。

「注意」默认情况下replica节点不会执行过期策略,它有可能使用了超过maxmemory设定的值的内存。因此你需要监控replicas节点所在的机器并且确保在master节点到达配置的maxmemory大小时,replicas节点不会超过物理内存的大小。

今天我们就先说到这了,至于配置文件中关于主从复制和持久化部分我们将在后续的内容进行讲解。

相关实践学习
基于Redis实现在线游戏积分排行榜
本场景将介绍如何基于Redis数据库实现在线游戏中的游戏玩家积分排行榜功能。
云数据库 Redis 版使用教程
云数据库Redis版是兼容Redis协议标准的、提供持久化的内存数据库服务,基于高可靠双机热备架构及可无缝扩展的集群架构,满足高读写性能场景及容量需弹性变配的业务需求。 产品详情:https://www.aliyun.com/product/kvstore &nbsp; &nbsp; ------------------------------------------------------------------------- 阿里云数据库体验:数据库上云实战 开发者云会免费提供一台带自建MySQL的源数据库&nbsp;ECS 实例和一台目标数据库&nbsp;RDS实例。跟着指引,您可以一步步实现将ECS自建数据库迁移到目标数据库RDS。 点击下方链接,领取免费ECS&amp;RDS资源,30分钟完成数据库上云实战!https://developer.aliyun.com/adc/scenario/51eefbd1894e42f6bb9acacadd3f9121?spm=a2c6h.13788135.J_3257954370.9.4ba85f24utseFl
相关文章
|
NoSQL Redis 数据库
【Redis源码】轻松看懂rdb文件(四)
【Redis源码】轻松看懂rdb文件(四)
182 0
|
1月前
|
设计模式 NoSQL 网络协议
大数据-48 Redis 通信协议原理RESP 事件处理机制原理 文件事件 时间事件 Reactor多路复用
大数据-48 Redis 通信协议原理RESP 事件处理机制原理 文件事件 时间事件 Reactor多路复用
36 2
|
3月前
|
缓存 NoSQL Linux
【Azure Redis 缓存】Windows和Linux系统本地安装Redis, 加载dump.rdb中数据以及通过AOF日志文件追加数据
【Azure Redis 缓存】Windows和Linux系统本地安装Redis, 加载dump.rdb中数据以及通过AOF日志文件追加数据
128 1
【Azure Redis 缓存】Windows和Linux系统本地安装Redis, 加载dump.rdb中数据以及通过AOF日志文件追加数据
|
3月前
|
NoSQL Redis
Redis AOFRW主进程问题之更新manifest文件如何解决
Redis AOFRW主进程问题之更新manifest文件如何解决
|
3月前
|
存储 缓存 NoSQL
【Azure Redis 缓存 Azure Cache For Redis】如何设置让Azure Redis中的RDB文件暂留更久(如7天)
【Azure Redis 缓存 Azure Cache For Redis】如何设置让Azure Redis中的RDB文件暂留更久(如7天)
|
3月前
|
存储 NoSQL Redis
Redis 文件总大小问题之计算待加载AOF文件总大小如何解决
Redis 文件总大小问题之计算待加载AOF文件总大小如何解决
|
3月前
|
NoSQL 分布式数据库 Redis
Redis 进程问题之主进程更新manifest文件如何解决
Redis 进程问题之主进程更新manifest文件如何解决
|
3月前
|
NoSQL Redis
【Azure Redis】Redis导入备份文件(RDB)失败的原因
【Azure Redis】Redis导入备份文件(RDB)失败的原因
|
3月前
|
缓存 NoSQL Redis
【Azure Redis 缓存】Azure Cache for Redis 服务的导出RDB文件无法在自建的Redis服务中导入
【Azure Redis 缓存】Azure Cache for Redis 服务的导出RDB文件无法在自建的Redis服务中导入
|
3月前
|
缓存 NoSQL 算法
【Azure Redis 缓存】Redis导出数据文件变小 / 在新的Redis复原后数据大小压缩近一倍问题分析
【Azure Redis 缓存】Redis导出数据文件变小 / 在新的Redis复原后数据大小压缩近一倍问题分析