4：创建Fabric多节点集群
4.1、配置说明
首先可以根据官方Fabric自带的e2e_cli列子中的集群方案来生成我们自己的集群，与案例不同的是我们需要把容器都分配到不同的服务器上，彼此之间通过网络来进行通信，网络构建完成后则进行相关的channel和chaincode操作。
笔者目前申请了五台服务器，所有的服务器均是按照上述e2e_cli环境构建与测试步骤配置。计划其中四台服务器运行peer节点，另外一台服务器运行orderer节点，为其它四个节点提供order服务。
虚拟机具体参数如下表所示：
| 名称 |
ip |
节点标识 |
节点Hostname |
Organization（组织机构） |
| Server1 |
10.130.116.8 |
orderer |
orderer.example.cn |
Orderer |
| Server2 |
10.130.116.9 |
sp0 |
peer0.org1.example.cn |
Org1 |
| Server3 |
10.130.116.10 |
sp1 |
peer1.org1.example.cn |
Org1 |
| Server4 |
10.130.116.25 |
sp2 |
peer0.org2.example.cn |
Org2 |
| Server5 |
10.130.116.27 |
sp3 |
Peer1.org2.example.cn |
Org2 |
4.2、生成公私钥、证书、创世区块等
公私钥和证书是用于Server与Server之间的安全通信，另外要创建channel并让其它节点加入channel就需要创世区块，这些必备文件都可以通过一个命令生成，并且官方已经给出了脚本，在如下目录中的文件：
/opt/gopath/src/github.com/hyperledger/fabric/examples/e2e_cli/ generateArtifacts.sh
使用generateArtifacts.sh生成证书和config.tx，具体执行命令如下：
bash generateArtifacts.sh mychannel
这里创建了5台服务器，在任意一台服务器的该目录下执行此项命令即可，将会生成两个目录，它们分别为channel-artifacts和crypto-config，两个目录的结果和含义如下视图：
在上述目录里的文件用于orderer创建channel，它们根据configex.yaml的配置生成。
在上述目录里有orderer和peer的证书、私钥和用于通信加密的tls证书等文件，它通过configex.yaml配置文件生成。
4.3、配置多服务器
根据4.2的方案，以及之前所述的gopath目录等配置方案，我们假定所有的服务器都按照该文档的配置来操作，所有服务器都有Fabric源码且目录为
/opt/gopath/src/github.com/hyperledger/fabric
我们在Server1上执行如下命令生成构建Fabric网络所需的成员证书等必要材料：
bash generateArtifacts.sh mychannel
如4.2中所述，该命令只需在其中某一台服务器上运行一次即可，其它服务器无需再次运行。
在运行该命令的服务器/opt/gopath/src/github.com/hyperledger/fabric/examples/e2e_cli目录下会生成channel-artifacts和crypto-config目录，需要把它们拷贝到其它服务器相同的e2e_cli目录下，如果在其它服务器中已经存在该目录，则先把此目录删除。
当所有服务器都有同一个channel-artifacts和crypto-config目录后，接下来就开始配置compose文件。
4.4、设置peer0.org1.example.com节点的docker-compose文件
e2e_cli中提供了多个yaml文件，我们可以基于docker-compose-cli.yaml文件创建，具体可执行如下命令：
cp docker-compose-cli.yaml docker-compose-peer.yaml
然后修改docker-compose-peer.yaml，去掉orderer的配置，只保留一个peer和cli，因为我们要多级部署，节点与节点之前又是通过主机名通讯，所以需要修改容器中的host文件，也就是extra_hosts设置，修改后的peer配置如下：
1 peer0.org1.example.com: 2 container_name: peer0.org1.example.com 3 extends: 4 file: base/docker-compose-base.yaml 5 service: peer0.org1.example.com 6 extra_hosts: 7 - "orderer.example.com:10.130.116.8"
同样，cli也需要能够和各个节点通讯，所以cli下面也需要添加extra_hosts设置，去掉无效的依赖，并且去掉command这一行，因为我们是每个peer都会有个对应的客户端，也就是cli，所以我只需要去手动执行一次命令，而不是自动运行。修改后的cli配置如下：
1 cli: 2 container_name: cli 3 image: hyperledger/fabric-tools 4 tty: true 5 environment: 6 - GOPATH=/opt/gopath 7 - CORE_VM_ENDPOINT=unix:///host/var/run/docker.sock 8 - CORE_LOGGING_LEVEL=DEBUG 9 - CORE_PEER_ID=cli 10 - CORE_PEER_ADDRESS=peer0.org1.example.com:7051 11 - CORE_PEER_LOCALMSPID=Org1MSP 12 - CORE_PEER_TLS_ENABLED=true 13 - CORE_PEER_TLS_CERT_FILE=/opt/gopath/src/github.com/hyperledger/fabric/peer/crypto/peerOrganizations/org1.example.com/peers/peer0.org1.example.com/tls/server.crt 14 - CORE_PEER_TLS_KEY_FILE=/opt/gopath/src/github.com/hyperledger/fabric/peer/crypto/peerOrganizations/org1.example.com/peers/peer0.org1.example.com/tls/server.key 15 - CORE_PEER_TLS_ROOTCERT_FILE=/opt/gopath/src/github.com/hyperledger/fabric/peer/crypto/peerOrganizations/org1.example.com/peers/peer0.org1.example.com/tls/ca.crt 16 - CORE_PEER_MSPCONFIGPATH=/opt/gopath/src/github.com/hyperledger/fabric/peer/crypto/peerOrganizations/org1.example.com/users/Admin@org1.example.com/msp 17 working_dir: /opt/gopath/src/github.com/hyperledger/fabric/peer 18 volumes: 19 - /var/run/:/host/var/run/ 20 - ../chaincode/go/:/opt/gopath/src/github.com/hyperledger/fabric/examples/chaincode/go 21 - ./crypto-config:/opt/gopath/src/github.com/hyperledger/fabric/peer/crypto/ 22 - ./scripts:/opt/gopath/src/github.com/hyperledger/fabric/peer/scripts/ 23 - ./channel-artifacts:/opt/gopath/src/github.com/hyperledger/fabric/peer/channel-artifacts 24 depends_on: 25 - peer0.org1.example.com 26 extra_hosts: 27 - "orderer.example.com:10.130.116.8" 28 - "peer0.org1.example.com:10.130.116.9" 29 - "peer1.org1.example.com:10.130.116.10" 30 - "peer0.org2.example.com:10.130.116.25" 31 - "peer1.org2.example.com:10.130.116.27"
在3.2示例单机模式下，4个peer会映射主机不同的端口，但是我们在多机部署的时候是不需要映射不同端口的，所以需要修改base/docker-compose-base.yaml文件，将所有peer的端口映射都改为相同的：
1 ports: 2 - 7051:7051 3 - 7052:7052 4 - 7053:7053
4.5、设置peer1.org1.excmple.com节点的docker-compose文件
与peer0.org1.example.com节点compose文件配置一样，不过需要将启动的容器改为peer1.org1.example.com，并且添加peer0.org1.example.com的IP映射，对应的cli中也改成对peer1.org1.example.com的依赖。这是修改后的peer1.org1.example.com上的配置示例：
1 peer1.org1.example.com: 2 container_name: peer1.org1.example.com 3 extends: 4 file: base/docker-compose-base.yaml 5 service: peer1.org1.example.com 6 extra_hosts: 7 - "orderer.example.com:10.130.116.8" 8 - "peer0.org1.example.com:10.130.116.9" 9 10 cli: 11 container_name: cli 12 image: hyperledger/fabric-tools 13 tty: true 14 environment: 15 - GOPATH=/opt/gopath 16 - CORE_VM_ENDPOINT=unix:///host/var/run/docker.sock 17 - CORE_LOGGING_LEVEL=DEBUG 18 - CORE_PEER_ID=cli 19 - CORE_PEER_ADDRESS=peer1.org1.example.com:7051 20 - CORE_PEER_LOCALMSPID=Org1MSP 21 - CORE_PEER_TLS_ENABLED=true 22 - CORE_PEER_TLS_CERT_FILE=/opt/gopath/src/github.com/hyperledger/fabric/peer/crypto/peerOrganizations/org1.example.com/peers/peer1.org1.example.com/tls/server.crt 23 - CORE_PEER_TLS_KEY_FILE=/opt/gopath/src/github.com/hyperledger/fabric/peer/crypto/peerOrganizations/org1.example.com/peers/peer1.org1.example.com/tls/server.key 24 - CORE_PEER_TLS_ROOTCERT_FILE=/opt/gopath/src/github.com/hyperledger/fabric/peer/crypto/peerOrganizations/org1.example.com/peers/peer1.org1.example.com/tls/ca.crt 25 - CORE_PEER_MSPCONFIGPATH=/opt/gopath/src/github.com/hyperledger/fabric/peer/crypto/peerOrganizations/org1.example.com/users/Admin@org1.example.com/msp 26 working_dir: /opt/gopath/src/github.com/hyperledger/fabric/peer 27 volumes: 28 - /var/run/:/host/var/run/ 29 - ../chaincode/go/:/opt/gopath/src/github.com/hyperledger/fabric/examples/chaincode/go 30 - ./crypto-config:/opt/gopath/src/github.com/hyperledger/fabric/peer/crypto/ 31 - ./scripts:/opt/gopath/src/github.com/hyperledger/fabric/peer/scripts/ 32 - ./channel-artifacts:/opt/gopath/src/github.com/hyperledger/fabric/peer/channel-artifacts 33 depends_on: 34 - peer1.org1.example.com 35 extra_hosts: 36 - "orderer.example.com:10.130.116.8" 37 - "peer0.org1.example.com:10.130.116.9" 38 - "peer1.org1.example.com:10.130.116.10" 39 - "peer0.org2.example.com:10.130.116.25" 40 - "peer1.org2.example.com:10.130.116.27"
与上述类似，可以再次设置peer0.org2.example.com及peer1.org2.example.com节点compose配置文件。
4.6、设置order节点的docker-compose文件
与创建peer的配置文件类似，我们也复制一个yaml文件出来进行修改：
cp docker-compose-cli.yaml docker-compose-orderer.yaml
orderer服务器上我们只需要保留order设置，其他peer和cli设置都可以删除。orderer可以不设置extra_hosts。
以下是order compose的配置示例：
1 orderer.example.com: 2 extends: 3 file: base/docker-compose-base.yaml 4 service: orderer.example.com 5 container_name: orderer.example.com
本章节及后面的一章可以直接参阅：Fabric 1.0的多机部署，在这位老师的博客里写的非常清楚，而且我也是参考这篇博客来完成多机多节点自动部署方案的，只是手动调配及后续操作在网上基本上没有可供参考的中文内容，需要查看官网文档来逐步实现。
