基于Spring系列的框架开发的微服务业务站点在当下应该是最流行的开发模式之一，通过一系列分布式高可用的系统架构，我们将完成对电商应用的构建部署。

下面是我们这次完成项目构建的整体架构，首先由Nginx实现用户访问的前端，并且由它来完成后端程序的负载均衡；其次我们的微服务将同时运行在两台独立的云主机上，利用nginx负载流量；数据库的方案采用Mairadb的主从架构，并且添加了Mycat作为数据库读写分离的中间件，将数据的写入交给主数据库，数据的读取交给从数据库，分担了对数据的读写压力，redis负责数据缓存；同时构建了Zookeeper+Kafka的分布式系统集群，为系统提供分布式一致性并且高可用的业务集群。

我们的整套系统将部署在私有云环境下，在云平台上创建10台云主机，云主机运行在不同的计算节点中，对应计算节点有不同的分类。具体如下。

一、数据库服务构建

使用两台云主机部署Mariadb数据库，并完成数据库的主从配置，提高库的安全冗余性。

使用一台云主机部署 Mycat 数据库中间件服务，将用户提交的读写操作识别分发给相应的数据库节点。

这样将用户的访问操作，数据库的读与写操作分给 3 台主机，只有数据库集群的主节点接收增、删、改 SQL 语句，从节点接收查询语句，分担了主节点的查询压力。

1.Mariadb数据库主从

（1）安装 MariaDB 服务

yum install -y mariadb mariadb-server
 systemctl start mariadb&&systemctl enable mariadb

（2）初始化 MariaDB 数据库

在 db-master 和 db-slave 云主机上初始化 MariaDB 数据库，设置 MariaDB 数据库root 用户密码

[root@db-master ~]# mysql_secure_installation
root user without the proper authorisation. Set root password? [Y/n] y
New password: 
Re-enter new password:

（3）配置数据库基础设置

编辑两个节点的数据库配置文件 my.cnf，在配置文件my.cnf 中增添下面的内容。

[root@db-master ~]# cat /etc/my.cnf
[mysqld]
log_bin = mysql-bin 
binlog_ignore_db = mysql 
server_id = 27  //id不同
datadir=/var/lib/mysql
socket=/var/lib/mysql/mysql.sock
symbolic-links=0
[mysqld_safe]
log-error=/var/log/mariadb/mariadb.log
pid-file=/var/run/mariadb/mariadb.pid
[root@db-master ~]# systemctl restart mariadb
[root@db-slave ~]# cat /etc/my.cnf
[mysqld]
log_bin = mysql-bin 
binlog_ignore_db = mysql 
server_id = 30  //id不同
datadir=/var/lib/mysql
socket=/var/lib/mysql/mysql.sock
symbolic-links=0
[mysqld_safe]
log-error=/var/log/mariadb/mariadb.log
pid-file=/var/run/mariadb/mariadb.pid
[root@db-slave ~]# systemctl restart mariadb

（4）开放主节点的数据库权限

在主节点db-master 上使用 mysql 命令登录 MariaDB 数据库，授权业务对接所需要的用户。

[root@db-master ~]# mysql -uroot -p密码
MariaDB [(none)]> grant all privileges on *.* to mall@'192.168.1.%' identified by "密码";

在主节点数据库上创建一个 user 用户让从节点连接，并赋予从节点同步主节点数据库的权限，命令如下。

MariaDB [(none)]> grant replication slave on *.* to 'user'@'db-slave' identified by '密码';

（5）配置从节点 db-slave同步主节点 db-master

在从节点 db-slave 上使用 mysql 命令登录 MariaDB 数据库，配置从节点连接主节点的连接信息。

[root@db-slave ~]# mysql -uroot -p123456
MariaDB [(none)]> change master to master_host='db-master',master_user='user',master_password='密码';

配置完毕主从数据库之间的连接信息之后，开启从节点服务。使用show slave status\G;

命令并查看从节点服务状态， Slave_IO_Running 和 Slave_SQL_Running 的状态都为YES

MariaDB [(none)]> start slave;
MariaDB [(none)]> show slave status\G;

（6）创建业务库并导入结构

MariaDB [(none)]> create database gpmall;
Query OK, 1 row affected (0.000 sec)
MariaDB [(none)]> use gpmall
Database changed
MariaDB [gpmall]> source MallData.sql

2.Mycat中间件读写分离

（1）安装 Mycat 服务

安装jdk环境，并把下载好的Mycat安装包解压。

[root@mycat ~]# yum install -y java-1.8.0-openjdk java-1.8.0-openjdk-devel
[root@mycat ~]# tar -zxvf Mycat-server-1.6-RELEASE-20161028204710-linux.tar.gz -C/usr/local/

在/etc/profile 系统变量文件中添加 Mycat 服务的系统变量，并生效变量。

[root@mycat ~]# echo export MYCAT_HOME=/usr/local/mycat/ >> /etc/profile
[root@mycat ~]# source /etc/profile

（2）编辑 Mycat 的逻辑库配置文件

配置 Mycat 服务读写分离的 schema.xml 配置文件在/usr/local/mycat/conf/目录下。

在文件中定义一个逻辑库schema，name 为 USERDB，使用户可以通过 Mycat 服务管理该逻辑库对应的MariaDB数据库。设置数据库写入节点为主节点master；设置数据库读取节点为从节点 slave。

[root@mycat ~]# chown root:root /usr/local/mycat/conf/schema.xml
[root@mycat ~]# cat /usr/local/mycat/conf/schema.xml
<?xml version="1.0"?>
<!DOCTYPE mycat:schema SYSTEM "schema.dtd">
<mycat:schema xmlns:mycat="http://io.mycat/">
<schema name="USERDB" checkSQLschema="true" sqlMaxLimit="100" dataNode="dn1"></schema>
<dataNode name="dn1" dataHost="localhost1" database="test" />
<dataHost name="localhost1" maxCon="1000" minCon="10" balance="3" dbType="mysql" dbDriver="native" writeType="0" switchType="1" slaveThreshold="100">
<heartbeat>select user()</heartbeat>
<writeHost host="hostM1" url="master的ip:3306" user="root" password="密码">
<readHost host="hostS1" url="slave的ip:3306" user="root" password="密码" />
</writeHost>
</dataHost>
</mycat:schema>

这里再说一下mycat中间件负载均衡的几个模式：

balance="0"：不启用读写分离

balance="1"：全部的 Host 参与负载均衡，需要做多主

balance="2"：所有读操作都随机的在 writeHost、readhost 上执行

balance="3"：所有读请求随机地分发到 wiriterHost 对应的 readhost 执行

（3）编辑 mycat 的访问用户

修改/usr/local/mycat/conf/目录下的 server.xml 文件，修改 root 用户的访问密码与数据库，访问 Mycat 的逻辑库为 USERDB.

[root@mycat ~]# cat /usr/local/mycat/conf/server.xml
在配置文件的最后部分
<user name="root">
<property name="password">密码</property>
<property name="schemas">USERDB</property>

（4）启动 Mycat 服务

通过命令启动 Mycat 数据库中间件服务，如有开放 8066 和 9066 端口，则表示 Mycat 服务开启成功

[root@mycat ~]# /bin/bash /usr/local/mycat/bin/mycat start

二、Zookeeper集群构建

本系统使用到了Zookeeper+kafka分布式系统，Zookeeper 将那些复杂且容易出错的分布式一致性服务封装起来，构成一个高效可靠的原语集，并以一系列简单易用的接口提供给用户使用。

分布式应用可以基于它实现诸如数据发布/订阅、负载均衡、命名服务、分布式协调/通知、集群管理、Master 选举、分布式锁和分布式队列等功能。

（1）在三个zk云主机中安装 JDK 环境并上传zookeeper软件包

3 个节点安装 Java JDK 环境，3 个节点均执行命令如下：

# yum install -y java-1.8.0-openjdk java-1.8.0-openjdk-devel
# tar -zxvf zookeeper-3.4.14.tar.gz

（3）修改 3 个节点配置文件

在每个zk节点，进入 zookeeper-3.4.14/conf 目录下，修改zoo_sample.cfg 文件为zoo.cfg

[root@zookeeper1 conf]# vi zoo.cfg
tickTime=2000
initLimit=10
syncLimit=5
dataDir=/tmp/zookeeper
clientPort=2181
server.1=192.168.1.33:2888:3888
server.2=192.168.1.34:2888:3888
server.3=192.168.1.35:2888:3888

这项配置server.id=host:port1:port2

其中 id 为一个数字，表示 zk 进程的id，这个id 也是dataDir目录下 myid 文件的内容。host 是该 zk 进程所在的 IP 地址，port1 表示follower 和leader 交换消息所使用的端口，port2 表示选举 leader 所使用的端口。

（4）创建 myid 文件

在 3 台节点的dataDir 目录（此处为/tmp/zookeeper）下，分别创建一个myid 文件，

[root@zookeeper1 ~]# mkdir /tmp/zookeeper
# vi /tmp/zookeeper/myid
# cat /tmp/zookeeper/myid

1、2、3，每个节点不同

（5）启动 ZooKeeper 服务

在 3 台机器的 zookeeper-3.4.14/bin 目录下执行命令如下：

# ./zkServer.sh start
ZooKeeper JMX enabled by default
Using config: /root/zookeeper-3.4.14/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED
[root@zookeeper1bin]# ./zkServer.sh status
Mode: leader
[root@zookeeper2bin]# ./zkServer.sh status
Mode: follower
[root@zookeeper3 bin]# ./zkServer.sh status
Mode: follower

检查zk集群的状态，zk1为leader，其他两个节点为follower

三、Kafka集群构建

使用 ZooKeeper 集群搭建的 3 个节点来构建 Kafka 集群，因为Kafka 服务依赖于ZooKeeper 服务。

（1）在三个zk云主机中安装上传 Kafka 软件包

# tar -zxvf kafka_2.11-1.1.1.tgz

（2）修改 3 个节点配置文件

进入 kafka_2.11-1.1.1/config 目录下，编辑server.properties 文件

# vim server.properties
broker.id=1
zookeeper.connect=192.168.1.33:2181,192.168.1.34:2181,192.168.1.35:2181
listeners = PLAINTEXT://192.168.1.33:9092

修改配置内容

broker.id：每个节点区分一下

zookeeper.connect：有 3 台 ZooKeeper 服务器，这里设置为 3

listeners：设置监听地址

（3）启动服务

在三个节点中，进入 kafka_2.11-1.1.1/bin 目录下，启动服务命令

# ./kafka-server-start.sh -daemon ../config/server.properties

（4）测试服务

在 zk1节点，进入 kafka_2.11-1.1.1/bin 目录下，创建 topic 命令如下

Zk1节点：

[root@zookeeper1 bin]# ./kafka-topics.sh --create --zookeeper 192.168.1.33:2181
--replication-factor 1 --partitions 1 --topic testzk
Created topic "testzk".

在任意启动的机器 kafka_2.11-1.1.1/bin 的目录中执行命令，同样输出test内容

Zk2节点：

[root@zookeeper2 bin]# ./kafka-topics.sh --list --zookeeper 192.168.1.34:2181
testzk

Zk3节点：

[root@zookeeper3 bin]# ./kafka-topics.sh --list --zookeeper 192.168.1.35:2181
testzk

测试完成

四、Redis服务构建

（3）安装 Redis 服务

[root@redis ~]# yum install redis -y

（4）启动 Redis 服务

修改 Redis 配置文件，编辑/etc/redis.conf 文件

bind 192.168.1.36
protected-mode no
requirepass redis密码
[root@redis ~]# systemctl start redis&&systemctl enable redis
Created symlink from /etc/systemd/system/multi-user.target.wants/redis.service to/usr/lib/systemd/system/redis.service.

检查 Redis 服务启动， 6379 端口正常监听

[root@redis ~]# netstat -ntpl
Active Internet connections (only servers)
Proto Recv-Q Send-Q Local Address Foreign Address State
PID/Program name
tcp 0 0 0.0.0.0:6379 0.0.0.0:* LISTEN1065/redis-server *

五、微服务Jar包运行环境构建

后端业务

（3）安装 Java 环境

两个jar节点安装openjdk环境来运行jar包

[root@jar1 ~]# yum install -y java-1.8.0-openjdk java-1.8.0-openjdk-devel
[root@jar2 ~]# yum install -y java-1.8.0-openjdk java-1.8.0-openjdk-devel

（2）运行 jar 包

将构建打包好的四个jar包上传至jar1,jar2两台云主机，执行后台运行

# nohup java -jar Prj-shopProvider.jar &
# nohup java -jar Prj-countProvider.jar &
# nohup java -jar Prj-shopper.jar &
# nohup java -jar Prj-user.jar &

六、前端Nginx负载均衡构建

用户访问由nginx提供，nginx通过反向代理后端服务IP端口，处理HTTP请求，负载分流到后端服务器上

（1）安装 Nginx 服务

[root@nginx ~]# yum install nginx -y

（2）修改 Nginx 配置文件

修改 Nginx 配置文件/etc/nginx/conf.d/default.conf ，添加三个后端服务的负载均衡，并设置proxy

upstream pageuser {
  server 192.168.1.37:8082;
  server 192.168.1.38:8082;
  ip_hash;
}
upstreampageshopping {
  server 192.168.1.37:8081;
  server 192.168.1.38:8081;
  ip_hash;
}
upstreampagecashier {
  server 192.168.1.37:8083;
  server 192.168.1.38:8083;
  ip_hash;
}
server {
  listen 80;
  server_name localhost;
  location / {
    root /usr/share/nginx/html;
    index index.html index.htm;
}
location /user {
  proxy_pass http://pageuser;
}
location /shopping {
  proxy_pass http://pageshopping;
}
location /cashier {
  proxy_pass http://pagecashier;
}

（4）启动 Nginx 服务

在 nginx 节点，启动 Nginx 服务

[root@nginx ~]# systemctl start nginx&& systemctl enable nginx

七、电商应用系统访问测试

首页，访问效果

农产品详情页访问

用户注册功能测试，数据库连接与写入无误

用户登陆测试

订单提交测试，后端无误

【分布式集群】微服务电商应用系统的集群构建

一、数据库服务构建

1.Mariadb数据库主从

2.Mycat中间件读写分离

二、Zookeeper集群构建

三、Kafka集群构建

四、Redis服务构建

五、微服务Jar包运行环境构建

六、前端Nginx负载均衡构建

七、电商应用系统访问测试

微服务

热门文章

最新文章

相关课程

相关电子书

相关实验场景