目前公司的业务是php语言开发，使用的是laravel开源框架。laravel框架使用predis连接redis，但是目前predis不支持主从式redis集群，这点很坑。

看了看目前网上的解决方案，国内豌豆荚开源的codis很不错。这篇文章，我们主要介绍codis集群的安装。

一、codis介绍

codis是一个分布式redis集群解决方案，对于上层的应用来说, 连接到codis-proxy和连接原生的redis-server没有明显的区别。

上层应用可以像使用单机的redis一样使用，codis底层会处理请求的转发，不停机的数据迁移等工作。所有后边的一切事情，对于前面的客户端来说是透明的，可以简单的认为后边连接的是一个内存无限大的redis服务。

codis由四部分组成:

codis proxy(codis-proxy)

codis dashboard(codis-config)

codis redis(codis-server)

zookeeper/etcd

codis-proxy是客户端连接的redis代理服务，codis-proxy本身实现了redis协议，表现得和一个原生的redis没什么区别(就像twemproxy)，对于一个业务来说，可以部署多个codis-proxy，codis-proxy本身是无状态的。

codis-config是codis的管理工具，支持包括：添加/删除redis节点，添加/删除proxy节点，发起数据迁移等操作。

codis-config本身还自带了一个http-server，会启动一个dashboard，用户可以直接在浏览器上观察codis集群的运行状态。

codis-server是codis项目维护的一个redis分支，基于redis2.8.21开发，加入了slot的支持和原子的数据迁移指令。codis上层的codis-proxy和codis-config只能和这个版本的redis交互才能正常运行。

codis依赖zookeeper来存放数据路由表和codis-proxy节点的元信息，codis-config发起的命令都会通过zookeeper同步到各个存活的codis-proxy。

codis支持按照namespace区分不同的产品，拥有不同的product name的产品，各项配置都不会冲突。

codis架构图如下：

二、环境准备

codis集群的搭建，需要zookeeper集群，有关zookeeper集群的搭建，可以参考这篇文章《烂泥：zookeeper集群搭建》。

除了zookeeper集群之外，我们还需要安装go语言环境，因为codis是基于go语言开发的。

2.1 安装基础依赖

安装基础依赖，使用如下命令：

yum install -y git gcc make g++ gcc-c++ automake openssl-devel zlib-*

基础依赖安装往后，我们现在开始配置go语言环境。

2.2 go语言环境搭建

codis是基于go语言开发的，所以我们要在所有服务器上都配置go语言环境。

下载go语言包，如下：

wget http://www.golangtc.com/static/go/1.4.2/go1.4.2.linux-amd64.tar.gz

下载完毕后，解压到/usr/local，如下：

tar -C /usr/local -xf go1.4.2.linux-amd64.tar.gz

把go加入到系统的环境变量，如下：

vim /etc/profile

export PATH=$PATH:/usr/local/go/bin

export GOPATH=/usr/local/

让刚刚加入的环境变量生效，并查看go是否配置成功，如下：

source /etc/profile

env

go version

通过上图，我们可以很明显的看出go语言环境配置成功。

三、安装codis

codis的安装，我们可以通过三种不同的方式进行：通过go下载安装、通过git方式和通过源码方式，下面分别介绍下。

3.1 通过go下载安装

官方github地址为：https://github.com/CodisLabs/codis

官方使用文档地址为：https://github.com/CodisLabs/codis/blob/master/doc/tutorial_zh.md

按照官方github介绍，codis首选方式是通过go下载安装的。命令如下：

go get -u -d github.com/CodisLabs/codis

注意：由于众所周知的原因，这一步比较慢，需要耐心等待。

上一步执行完毕后，我们切换到/usr/local/src/github.com/CodisLabs/codis目录下，进行编译，如下：

cd /usr/local/src/github.com/CodisLabs/codis

make

注意：这一步也比较慢，需要耐心等待。

make编译执行完毕后后，会在bin目录下生成codis-config、codis-proxy、codis-server三个可执行文件以及assets目录。

其中assets是codis-config的dashboard http 服务需要的前端资源，需要和codis-config放置在同一目录下。如下：

ll bin/

编译完毕后，我们现在来测试编译的结果，使用如下命令：

make gotest

通过上图，我们可以看到codis已经安装成功。

3.2 通过git方式

上一章节，我们介绍了codis通过go下载安装的方法，这一章节，我们通过git方式进行安装。

首先下载codis最新的git仓库，使用如下命令：

git clone https://github.com/CodisLabs/codis.git

git仓库下载完毕后，我们接下来进行如下的操作。如下：

mkdir -p /usr/local/src/github.com/CodisLabs/

cp -r codis /usr/local/src/github.com/CodisLabs/

cd /usr/local/src/github.com/CodisLabs/codis/

以上操作完毕后，就和通过go下载安装方式一样了。执行make命令进行编译，然后执行make gotest命令进行测试。

3.3 通过下载源码

下面我们来介绍下，通过源码方式的安装。下载codis源码文件，如下：

wget https://github.com/CodisLabs/codis/archive/3.0.3.tar.gz

解压源码包，如下：

tar -xf 3.0.3.tar.gz

cd codis-3.0.3/

然后进行编译，使用make命令，如下：

这一步很慢，需要下载各种依赖，然后是make gotest。

基本和go下载安装方式一样，不过需要说明下，我通过源码方式一直没有安装成功。报如下错误：

所以以上三种安装的方法，建议使用第一、二种，尽管有点慢。

四、配置codis集群

codis安装完毕后，我们现在来配置codis集群。在正式配置集群之前，先创建相关的目录，然后复制相关文件到新的目录下。使用如下命令：

cd /usr/local/src/github.com/CodisLabs/codis/

mkdir -p /usr/local/codis/{log,redis_conf}

cp -rf bin/ /usr/local/codis/

cp config.ini /usr/local/codis/

cp extern/redis-test/conf/6379.conf /usr/local/codis/redis_conf/20189.conf

cp extern/redis-test/conf/6380.conf /usr/local/codis/redis_conf/20190.conf

4.1 编辑codis配置文件

上述操作完毕后，我们来修改codis的配置文件config.ini，在此我们只需要修改相关的选项即可。如下：

vim /usr/local/codis/config.ini

coordinator=zookeeper

zk=192.168.1.9:2181,192.168.1.124:2181,192.168.1.231:2181

product=test

dashboard_addr=192.168.1.9:18087

password=

backend_ping_period=5

session_max_timeout=1800

session_max_bufsize=131072

session_max_pipeline=1024

zk_session_timeout=30000

proxy_id=proxy_9

该配置文件中，我们需要注意三个参数：zk、dashboard_addr、proxy_id。

其中zk是表示zookeeper集群的服务器IP地址，dashboard_addr表示codis web管理的IP地址及端口，proxy_id表示codis的id，注意每台codis服务器该值要唯一。

另外两台服务器的codis配置文件，内容如下：

到此codis配置文件修改完毕。

4.2 编辑redis配置文件

codis配置文件修改完毕后，我们现在来修改redis配置文件。

每台codis服务器上，我们要启动两个redis实例（也可以启动多个redis实例），所以我们要配置两个redis。如下：

vim /usr/local/codis/redis_conf/20189.conf

daemonize no

pidfile /var/run/redis20189.pid

port 20189

tcp-backlog 511

timeout 0

tcp-keepalive 0

loglevel notice

logfile /var/log/redis/20189.log

databases 16

stop-writes-on-bgsave-error yes

rdbcompression yes

rdbchecksum yes

dbfilename dump20189.rdb

dir /usr/local/codis/

slave-serve-stale-data yes

slave-read-only yes

repl-disable-tcp-nodelay no

slave-priority 100

appendonly no

appendfilename “appendonly.aof”

appendfsync everysec

no-appendfsync-on-rewrite no

auto-aof-rewrite-percentage 100

auto-aof-rewrite-min-size 64mb

lua-time-limit 5000

slowlog-log-slower-than 10000

slowlog-max-len 128

latency-monitor-threshold 0

notify-keyspace-events “”

hash-max-ziplist-entries 512

hash-max-ziplist-value 64

list-max-ziplist-entries 512

list-max-ziplist-value 64

set-max-intset-entries 512

zset-max-ziplist-entries 128

zset-max-ziplist-value 64

hll-sparse-max-bytes 3000

activerehashing yes

client-output-buffer-limit normal 0 0 0

client-output-buffer-limit slave 256mb 64mb 60

client-output-buffer-limit pubsub 32mb 8mb 60

hz 10

aof-rewrite-incremental-fsync yes

配置第二个redis实例，如下：

yes|cp /usr/local/codis/redis_conf/20189.conf /usr/local/codis/redis_conf/20190.conf

sed -i ‘s/20189/20190/g’ /usr/local/codis/redis_conf/20190.conf

mkdir -p /var/log/redis/

每台codis服务器上redis配置完毕后，我们来启动redis实例，如下：

/usr/local/codis/bin/codis-server /usr/local/codis/redis_conf/20189.conf &

/usr/local/codis/bin/codis-server /usr/local/codis/redis_conf/20190.conf &

ps -ef |grep codis-server

注意：我们每台codis服务器上的redis实例都需要启动。

4.3 启动codis dashboard

redis实例全部启动后，我们现在来启动codis的dashboard。

注意，我们一定要在192.168.1.9这台codis服务器上启动该命令，这是因为我们在4.1章节codis配置文件中配置的dashboard地址就是192.168.1.9。

使用如下命令启动dashboard：

nohup /usr/local/codis/bin/codis-config -c config.ini dashboard &

netstat -tunlp

codis dashboard访问端口是18087，如下：

http://codis.ilanni.com:18087/admin/

通过上图，我们可以很明显的看出codis dashboard已经正常启动。

4.4 创建redis server分组

codis dashboard已经正常启动后，我们现在来创添加redis server分组。如下：

这样我们第一个redis server分组就创建完毕了，可以使用同样的方法创建第二、三个分组。如下：

这样三组redis server分组就创建完毕了。

当然我们也可以通过命令进行创建，如下：

/usr/local/codis/bin/codis-config server add-group 1

/usr/local/codis/bin/codis-config server add-group 2

/usr/local/codis/bin/codis-config server add-group 3

/usr/local/codis/bin/codis-config server list

注意：上述命令在三台codis服务器上任意一台上执行。

到此codis的redis server分组添加完毕。

4.5 添加redis实例

redis server分组添加完毕后，我们现在来为每一个分组添加redis实例。先为group_1添加redis实例，如下：

这个里面可以填写任何一个codis服务器上的redis实例（哪怕不是codis服务器的redis实例），在此我们填写的是192.168.1.9这台服务器上的redis实例。

可以看到group_1组的第一个redis实例，被自动配置为master类型。

现在我们来添加第二个redis实例，如下：

通过上图，我们可以很明显的看到第二个添加的redis实例被默认配置为slave类型。

注意：redis官方的支持的集群也是master-slave主从式的集群。

group_2组和group_3组的redis实例添加和上面的操作一样，如下：

这样三组redis实例就全部添加完毕。

当然我们也可以通过命令进行添加，如下：

/usr/local/codis/bin/codis-config server add 1 192.168.1.9:20189 master

/usr/local/codis/bin/codis-config server add 1 192.168.1.9:20190 slave

/usr/local/codis/bin/codis-config server add 2 192.168.1.124:20189 master

/usr/local/codis/bin/codis-config server add 2 192.168.1.124:20190 slave

/usr/local/codis/bin/codis-config server add 3 192.168.1.231:20189 master

/usr/local/codis/bin/codis-config server add 3 192.168.1.231:20190 slave

注意：上述命令中的数字，表示的是哪一个分组，master/slave表示的是所属类型。

我们也可以通过命令查看，各个redis server组的信息，如下：

/usr/local/codis/bin/codis-config server list

注意：每组添加的第一个redis实例不能被删除，因为codis默认把该redis实例设置为master。

到此redis server分组的redis实例添加完毕。

4.6 分配slot范围

codis采用pre-sharding的技术来实现数据的分片，默认分成1024个slot(0-1023)。对于每个key来说，可以通过以下公式确定所属的slot id:slotid=crc32(key)%1024。

每一个slot都会有一个且必须有一个特定的server group id来表示这个slot的数据由哪个server group来提供。

在分配slot之前，我们需要初始化slot。

在codis服务器任意一台上执行bin/codis-config slot init命令，该命令会在zookeeper上创建slot相关信息。如下：

cd /usr/local/codis

/usr/local/codis/bin/codis-config -c config.ini slot init

slot初始化完毕后，我们现在来分配slot范围。如下：

上图中的New Group Id是自定义的。

通过上图，我们可以看到第一组slot分配成功。

现在来查看slot分配信息，如下：

通过上图，我们可以很明显的看出组1分配的slot是0-334,335以后还没有分配。现在来分配剩下的slot，如下：

这样slot已经全部分配完毕。

当然我们也可以通过命令进行分配，如下：

/usr/local/codis/bin/codis-config slot range-set 0 334 1 online

/usr/local/codis/bin/codis-config slot range-set 335 669 2 online

/usr/local/codis/bin/codis-config slot range-set 670 1023 3 online

查看slot信息，如下：

/usr/local/codis/bin/codis-config slot info 1

/usr/local/codis/bin/codis-config slot info 2

/usr/local/codis/bin/codis-config slot info 3

4.7 启动codis-proxy

以上全部配置完毕后，我们来启动codis-proxy，使用如下命令：

nohup /usr/local/codis/bin/codis-proxy -c /usr/local/codis/config.ini –log-level=error -L/usr/local/codis/log/proxy.log –cpu=8 –addr=0.0.0.0:19000 –http-addr=0.0.0.0:11000 &

下面对以上命令中的参数进行解释：

-c 配置文件地址。

-L 日志输出文件地址。

–log-level=<loglevel> 输出日志级别(debug<info (default)<warn<error<fatal)。

–cpu=<cpu_num> proxy占用的cpu核数,默认1,最好设置为机器的物理cpu数的一半到2/3左右。

–addr=<proxy_listen_addr> proxy的redis server监听的地址, 格式<ip or hostname>:<port>, 如: localhost:9000, :9001。

–http-addr=<debug_http_server_addr> proxy的调试信息启动的http server,可以访问 http://debug_http_server_addr/debug/vars。

codis-proxy启动后，我们可以在dashboard上进行查看，如下：

到此codis集群就搭建完毕。

五、连接codis集群

codis集群搭建完毕后，现在我们来连接codis集群。要连接codis集群，我们只需要连接codis-proxy即可。即连接4.7章节中的codis-proxy服务器地址，然后加19000端口。使用redis-cli命令连接，如下：

redis-cli -h 192.168.1.9 -p 19000

info

通过上图，我们可以很明显的看到连接codis集群是ok的。

我们现在对codis集群做一些压力测试，同时在dashboard上观察键值对的情况。如下：

redis-benchmark -h 192.168.1.9 -p 19000 -c 10000 -d 100 -t set -n 100000 -r 100000

上述命令的意思是，使用redis-benchmark压力测试命令连接codis集群，同时并发10000个（-c），测试set操作(-t)，每个测试数据集是100字节(-d),请求数是100000（-n），使用使用随机数插入数值（-r）。

通过上图，可以很明显的看到codis集群的性能还是很不错的呢。

而我们laravel框架中redis的配置直接填写codis-proxy的连接地址即可。如下：

六、其他

在codis搭建和使用过程中，我们还是会碰到一些其他问题的，下面就稍微提下。

6.1 报zk节点不存在错误

如果要kill的dashboard的话，强烈建议通过kill -15 pid来关闭。

如果是直接使用kill -9进行kill的话，可能会报zk节点不存在错误的话。

这样的话，我们需要通过连接zookeeper集群，删除相关节点，然后再进行操作。删除节点操作，操作如下：

cd /usr/local/zookeeper/

./bin/zkCli.sh -server 127.0.0.1:2181

ls /zk/codis/db_test

rmr /zk/codis/db_test

6.2 与阿里云slb集成

在这里我们大致介绍下，codis在与阿里云的slb（负载均衡）进行集成的线上生产环境的案例。

目前我们连接codis集群是通过单个codis-proxy来进行的，如果这个节点挂了，就会出现了单点故障的危险。

所以我们这边在codis集群每台服务器上，都启动一个codis-proxy。然后前端使用slb进行统一接入，slb后端就有三台codis-proxy服务器。

codis集群的搭建和前面是一样的，只是在此我们的codis所在ecs（服务器）只有内网IP（省钱），而且slb我们是要的也是内网（省钱）。如下：

这样的话，客户端连接slb的地址就是连接codis整个集群了，同时也避免了单点故障的问题。

注意：阿里云slb后端的ecs，不能telnet通其前端的slb。