Codis 是一个分布式 Redis 解决方案

本文涉及的产品
Redis 开源版,标准版 2GB
推荐场景:
搭建游戏排行榜
云数据库 Tair(兼容Redis),内存型 2GB
服务治理 MSE Sentinel/OpenSergo,Agent数量 不受限
简介:

Codis源码地址:https://github.com/wandoulabs/codis

关于Codis组件可以参考:https://github.com/wandoulabs/codis/blob/master/doc/tutorial_zh.md


今天分享的这篇文章纯属个人的一些理解和使用的一些心得体会,如果错误也请朋友指出。

更重要的是为了认识一些正在使用或将要使用Codis的朋友有或多或少的帮助。


关于Codis的整体架构和功能介绍官方文档给的在详细不过了,所以我也不想在画蛇添足。


由于当前使用的是AWS的ec2主机,所以默认当前用户是ec2-user,而非root用户。


1、安装基础Go环境,所有节点均安装.

1
2
3
4
5
# sudo yum -y install gcc gcc-c++ make git wget go 
# sudo vim /etc/profile.d/go.sh
export  GOPATH= /opt/mygo
export  PATH=$GOPATH /bin :$JAVA_HOME /bin :$PATH
# source /etc/profile


2、安装Codis,除ZooKeeper节点外其余节点均正常安装.

1
2
3
4
5
6
# sudo mkdir /opt/mygo
# sudo chown -R ec2-user.ec2-user /opt/mygo/
# go get -u -d github.com/wandoulabs/codis
# cd /opt/mygo/src/github.com/wandoulabs/codis/
# make
# make gotest


3、安装ZooKeeper,仅需要在此节点安装.

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
# yum -y install java-1.8.0
 
# wget https://www.apache.org/dist/zookeeper/zookeeper-3.4.7/zookeeper-3.4.7.tar.gz
# tar -zxf zookeeper-3.4.7.tar.gz -C /opt
# cd /opt/zookeeper-3.4.7
# cp conf/zoo_sample.cfg conf/zoo.cfg
# mkdir /data/{zookeeper,logs} -p
 
# sudo vim conf/zoo.cfg
dataLogDir= /data/logs
dataDir= /data/zookeeper
server.1=localhost:2888:3888
 
# vim /data/zookeeper/myid
1
 
# vim /etc/profile.d/zookeeper.sh
PATH=$PATH: /opt/zookeeper-3 .4.7 /bin
 
# source /etc/profile
# sudo /opt/zookeeper-3.4.7/bin/zkServer.sh start conf/zoo.cfg
 
# netstat -alnut | grep 2181
# nc -v localhost 2181
# zkServer.sh status  #查看ZooKeeper的角色(leader|follower|standalone)
 
# zkCli.sh -server 127.0.0.1:2181
     ls  /
     create  /Test  hellozk
     get  /Test
     set  /Test  hellozookeeper
     get  /Test
     delete  /Test
     get  /Test
     quit


4、启动codis-redis服务.仅需要在redis节点.

1
2
3
4
# sudo mkdir /etc/redis
# cd /opt/mygo/src/github.com/wandoulabs/codis
# sudo ./bin/codis-server /etc/redis/redis.conf
# sudo netstat -tnlp |grep codis-se


5、在dashbaord节点上操作.

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
1> 配置dashboard服务
# cd /opt/mygo/src/github.com/wandoulabs/codis/
# mkdir /etc/codis
# cp config.ini /etc/codis/codis-config.ini
# vim vim /etc/codis/codis-config.ini
zk=172.31.16.33:2181
product=cn_release_codis
dashboard_addr=localhost:18087
proxy_id=proxy_1
proto=tcp4
 
2> 启动dashboard服务
# cd /opt/mygo/src/github.com/wandoulabs/codis/
# ./bin/codis-config -c /etc/codis/codis-config.ini dashboard  
 
3> 初始化 slots(该命令会在zookeeper上创建slot相关信息)
# cd /opt/mygo/src/github.com/wandoulabs/codis/
# ./bin/codis-config -c /etc/codis/codis-config.ini slot init
 
4> 强制格式化slot
# ./bin/codis-config -c /etc/codis/codis-config.ini slot init


6、添加codis-group-redis

> 添加第一组codis

1
2
# ./bin/codis-config -c /etc/codis/codis-config.ini server add 1 172.31.51.119:6379 master
# ./bin/codis-config -c /etc/codis/codis-config.ini server add 1 172.31.51.125:6379 slave

> 添加第二组codis

1
2
# ./bin/codis-config -c /etc/codis/codis-config.ini server add 2 172.31.51.126:6379 master
# ./bin/codis-config -c /etc/codis/codis-config.ini server add 2 172.31.51.124:6379 slave

> 开启分片

1
2
# ./bin/codis-config -c /etc/codis/codis-config.ini slot range-set 0 511 1 online
# ./bin/codis-config -c /etc/codis/codis-config.ini slot range-set 512 1023 2 online

> 扩容,在线添加新分片

1
2
3
# ./bin/codis-config -c codis-config.ini server add 3 192.168.10.131:6381 master
# ./bin/codis-config -c codis-config.ini server add 3 192.168.10.132:6381 slave
# ./bin/codis-config -c codis-config.ini slot migrate 256 511 3


7、启动codis-proxy服务.

比如线上有两个Codis-proxy服务.

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
# cd /opt/mygo/src/github.com/wandoulabs/codis/
# mkdir /etc/codis
# cp config.ini /etc/codis/codis-proxy.ini 
# vim /etc/codis/codis-proxy.ini 
zk=172.31.51.123:2181
product=cn_release_codis
dashboard_addr=172.31.51.120:18087
proxy_id=proxy_1
proto=tcp4
# ./bin/codis-proxy -c /etc/codis/codis-proxy.ini -L /var/log/codis_proxy.log --cpu=1 --addr=172.31.51.122:19000 --http-addr=172.31.51.122:11000
 
# cd /opt/mygo/src/github.com/wandoulabs/codis/
# mkdir /etc/codis
# cp config.ini /etc/codis/codis-proxy.ini 
# vim /etc/codis/codis-proxy.ini 
zk=172.31.51.123:2181
product=cn_release_codis
dashboard_addr=172.31.51.120:18087
proxy_id=proxy_2
proto=tcp4
# ./bin/codis-proxy -c /etc/codis/codis-proxy.ini -L /var/log/codis_proxy.log --cpu=1 --addr=172.31.51.121:19000 --http-addr=172.31.51.121:11000


8、dashboard监控页面

http://<dashboard_ip>:18087/admin/

wKiom1Z9WMyCr7pXAABfLaMu-Ec810.png


9、移除分片流程

1
2
3
4
5
6
7
8
9
---假设将分片3移除---
1. 设置codis-proxy为offline状态.
. /bin/codis-config  -c codis-config.ini proxy offline proxy_1
 
2. 迁移分片3上的数据到分片1
. /bin/codis-config  -c codis-config.ini slot migrate 256 511 1
 
3. 彻底移除分片3
. /bin/codis-config  -c codis-config.ini server remove-group 3


10、codis-server的HA

1
2
3
4
5
# export GOPATH=/opt/mygo
# go get github.com/ngaut/codis-ha
# cp /opt/mygo/bin/codis-ha /opt/mygo/src/github.com/wandoulabs/codis/bin/
# cd /opt/mygo/src/github.com/wandoulabs/codis/
# ./bin/codis-ha -codis-config="localhost:18087" -log-level="info" -productName="cn_release_codis"



遇到的问题以及解决办法,也希望这部分对朋友有用。

(1)

1
2
3
2015 /12/11  16:49:10 dashboard.go:160: [INFO] dashboard listening on addr: :18087
2015 /12/11  16:49:10 dashboard.go:234: [PANIC] create zk node failed
[error]: dashboard already exists: { "addr" "172.31.16.30:18087" "pid" : 7762}

解决办法:

这种问题是由于使用了kill -9导致了dashboard服务异常终止,而退出服务的时候没有在zk上清除自已的信息,所以就出现了这种问题。

所以我们在停止codis集群的任何服务的时候都不要轻易使用kill -9,可以使用kill.

如果使用kill,那么服务在终止的时候也会自动的到zk上清除自已的信息,下次再启动的时候会立刻注册。


临时性的解决办法就是:

# rmr /zk/codis/db_codis_proxy_test/dashboard


(2)

dashboard提供的api接口

http://debugAddr/setloglevel?level=debug

http://debugAddr/debug/vars #主要是获取ops信息的还可以设置日志级别

浏览器访问proxy的debug_addr对应地址/debug/vars路径,可以看到每个proxy的qps信息。


(3)

codis-proxy的服务日志中产生的信息解释。

quit : client主动发的quit指令

EOF  : 连接直接断开了,就是proxy从client的tcp读的时候遇到EOF了


codis每次主动关闭client的连接都会打log的,一般来说主要可能有:

非法操作、该请求连的底层redis挂了、这个session很久没请求触发了proxy这边的清理逻辑。

第三个可能更大些,看时间是6点多,是不是你们的访问量不大?


session_max_timeout=1800

如果30分钟内没有任何ops 那么codis就主动关闭这个连接。

嗯,主要是有人反馈说他们的环境下有时候client主动关了连接但是proxy这边没收到close的消息,导致proxy这边最后积累了一大堆连接把资源吃满了


(4)

NaN GB

因为redis配置文件中没有设置内存maxmemory参数



(5)

codis中所有的读写操作都是在redis-master上执行的,redis-slave只负责数据的冗余,当master出现down之后 可以进行master和slave的切换。


(6)******

在codis集群中product是用来区分是否为同一个集群的。所以如果是同一个集群,那么dashboard和codis-proxy中的product要设置的一样。否则就面临的下面这个问题

zk: node does not exist

codis-proxy配置文件中的proxy_id 是用来区分同一个集群下的不同成员,所以这个参数要唯一。


(7)

codis-ha只负责在master挂掉的时候自动选择一个slave提升为master,但没有把剩余的slave重新挂在新的master上,而且也没有确保选择的slave是最优的


(8)

Too many open files

在用python多线程对redis进行压力测试的时候,压力超过4000的时候就出现这种问题。

2台codis-proxy支持并发2-3w没有太大的问题。


(9)

dashboard服务即使停止也不会影响app通过codis-proxy正常的访问redis服务。

但是会影响codis-ha服务,则主备不会自动切换啦.


意思也就是dashboard服务如果停止,那么app还是可以正常访问redis的,但是codis-ha会终止运行期。


(10)

同一个group中可以实现redis数据的主从复制,但是不同的group中无法实现。

如果同一个group中所有的master和slave都挂掉了,那么数据就丢失了,但是你如果还查询挂掉的group中的key就会提示错误。并且那个key也就会占用啦。

所有的写操作codis-proxy就不会发送到挂掉的group上去了。


(11)

同一个Group中的codis-server 实例下,多个slave 是否会分担master的读请求?

codis的设计理念是更注重一致性,redis的主从同步不是强一致的,因此codis不支持读写分离


(12)

一个集群中只能有一个dashboard服务出于运行状态,可以有多个 但是同时只能有一个服务出于running状态。




如果正在使用Codis的朋友,那么肯定也会遇到这样一个问题,就是关于dashboard的登录认证问题。在这里我做了一个基于nginx的用户登录认证,配置如下。

wKioL1Z9b_aDHql0AABFfwoiA-g909.png

wKioL1Z9Wt6ibZb6AAAxqvS7_ls831.png

当时我在做这个登录认证的时候,也花了2~3小时才解决,不是因为多么复杂,是因为dashboard很多都是基于api来获取数据的,如果少了配置中rewrite重定向那么就会只显示页面 而获取不到数据。切记


下一篇Codis文章补充部分:

  1. Codis集群中每个角色服务强烈建议成server式的服务启动脚本,这个我已经完成了,但是还是需要调整。

  2. 关于Dashboard服务的监控,我认为更多的是Redis主从,这个我也会在下篇讲解遇到Redis的坑。

  3. 由于dashboard没有友好的登录认证机制,建议关闭dashboard服务,而另外开发一个可查看但是没有权限操作的可视化界面。






     本文转自zys467754239 51CTO博客,原文链接:http://blog.51cto.com/467754239/1728423,如需转载请自行联系原作者



相关文章
|
2月前
|
存储 负载均衡 NoSQL
【赵渝强老师】Redis Cluster分布式集群
Redis Cluster是Redis的分布式存储解决方案,通过哈希槽(slot)实现数据分片,支持水平扩展,具备高可用性和负载均衡能力,适用于大规模数据场景。
223 2
|
2月前
|
存储 缓存 NoSQL
【📕分布式锁通关指南 12】源码剖析redisson如何利用Redis数据结构实现Semaphore和CountDownLatch
本文解析 Redisson 如何通过 Redis 实现分布式信号量(RSemaphore)与倒数闩(RCountDownLatch),利用 Lua 脚本与原子操作保障分布式环境下的同步控制,帮助开发者更好地理解其原理与应用。
144 6
|
1月前
|
NoSQL Java 调度
分布式锁与分布式锁使用 Redis 和 Spring Boot 进行调度锁(不带 ShedLock)
分布式锁是分布式系统中用于同步多节点访问共享资源的机制,防止并发操作带来的冲突。本文介绍了基于Spring Boot和Redis实现分布式锁的技术方案,涵盖锁的获取与释放、Redis配置、服务调度及多实例运行等内容,通过Docker Compose搭建环境,验证了锁的有效性与互斥特性。
117 0
分布式锁与分布式锁使用 Redis 和 Spring Boot 进行调度锁(不带 ShedLock)
|
1月前
|
缓存 NoSQL 关系型数据库
Redis缓存和分布式锁
Redis 是一种高性能的键值存储系统,广泛用于缓存、消息队列和内存数据库。其典型应用包括缓解关系型数据库压力,通过缓存热点数据提高查询效率,支持高并发访问。此外,Redis 还可用于实现分布式锁,解决分布式系统中的资源竞争问题。文章还探讨了缓存的更新策略、缓存穿透与雪崩的解决方案,以及 Redlock 算法等关键技术。
|
3月前
|
存储 缓存 NoSQL
Redis核心数据结构与分布式锁实现详解
Redis 是高性能键值数据库,支持多种数据结构,如字符串、列表、集合、哈希、有序集合等,广泛用于缓存、消息队列和实时数据处理。本文详解其核心数据结构及分布式锁实现,帮助开发者提升系统性能与并发控制能力。
|
7月前
|
数据采集 存储 数据可视化
分布式爬虫框架Scrapy-Redis实战指南
本文介绍如何使用Scrapy-Redis构建分布式爬虫系统,采集携程平台上热门城市的酒店价格与评价信息。通过代理IP、Cookie和User-Agent设置规避反爬策略,实现高效数据抓取。结合价格动态趋势分析,助力酒店业优化市场策略、提升服务质量。技术架构涵盖Scrapy-Redis核心调度、代理中间件及数据解析存储,提供完整的技术路线图与代码示例。
692 0
分布式爬虫框架Scrapy-Redis实战指南
|
3月前
|
NoSQL Redis
Lua脚本协助Redis分布式锁实现命令的原子性
利用Lua脚本确保Redis操作的原子性是分布式锁安全性的关键所在,可以大幅减少由于网络分区、客户端故障等导致的锁无法正确释放的情况,从而在分布式系统中保证数据操作的安全性和一致性。在将这些概念应用于生产环境前,建议深入理解Redis事务与Lua脚本的工作原理以及分布式锁的可能问题和解决方案。
154 8
|
5月前
|
数据采集 存储 NoSQL
基于Scrapy-Redis的分布式景点数据爬取与热力图生成
基于Scrapy-Redis的分布式景点数据爬取与热力图生成
340 67
|
8月前
|
NoSQL Java 中间件
【📕分布式锁通关指南 02】基于Redis实现的分布式锁
本文介绍了从单机锁到分布式锁的演变,重点探讨了使用Redis实现分布式锁的方法。分布式锁用于控制分布式系统中多个实例对共享资源的同步访问,需满足互斥性、可重入性、锁超时防死锁和锁释放正确防误删等特性。文章通过具体示例展示了如何利用Redis的`setnx`命令实现加锁,并分析了简化版分布式锁存在的问题,如锁超时和误删。为了解决这些问题,文中提出了设置锁过期时间和在解锁前验证持有锁的线程身份的优化方案。最后指出,尽管当前设计已解决部分问题,但仍存在进一步优化的空间,将在后续章节继续探讨。
1126 131
【📕分布式锁通关指南 02】基于Redis实现的分布式锁
|
4月前
|
缓存 NoSQL 算法
高并发秒杀系统实战(Redis+Lua分布式锁防超卖与库存扣减优化)
秒杀系统面临瞬时高并发、资源竞争和数据一致性挑战。传统方案如数据库锁或应用层锁存在性能瓶颈或分布式问题,而基于Redis的分布式锁与Lua脚本原子操作成为高效解决方案。通过Redis的`SETNX`实现分布式锁,结合Lua脚本完成库存扣减,确保操作原子性并大幅提升性能(QPS从120提升至8,200)。此外,分段库存策略、多级限流及服务降级机制进一步优化系统稳定性。最佳实践包括分层防控、黄金扣减法则与容灾设计,强调根据业务特性灵活组合技术手段以应对高并发场景。
1185 7

热门文章

最新文章