1. ETCD是什么
etcd 是一个分布式键值对存储,设计用来可靠而快速的保存关键数据并提供访问。和数据库一样都是用来存数据的,但是etcd有自己的特点,因此有自己的使用场景。
2. etcd 特点
- 完全复制,集群中的每个节点均拥有全量数据
- 强一致性,etcd通过raft共识算法保证集群数据的一致性
- 数据结构简单,仅字符串格式
- 可存储的数据量较少
- 主要是考虑强一致性,写入速度相对redis慢很多。
3. etcd的使用场景
- 服务注册与服务发现
- 分布式配置中心 (通过watch来监听一组key值的变化)
- 分布式锁
- 分布式选主
- 读多写少的场景
最重要的场景还是在分布式配置场景中,以及服务注册和服务发现。因为ETCD的强一致性的特点,我们在配置分布式集群时使用到的配置文件信息,例如IP、端口等信息可以放在etcd中,当有新的服务Server出现,或者集群有服务配置修改,我们其他节点都能马上收到信息去处理。
在分布式场景中还有zookeeper也使用的非常多,和etcd是一样的作用。zookeeper使用的场景,etcd都可以使用。zookeeper比较早,所以很多主流的分布式框架都用的zookeeper,比如kafka。而etcd算是后起之秀,未来可期。etcd相对于zookeeper性能更好。zookeeper是Java系的,而etcd是go语言的,也需要看应用场景来考虑使用哪个。
架构图
- Leader:Raft算法中通过竞选而产生的处理所有数据提交的节点
- Follower:竞选失败的节点作为Raft中的从属节点,为算法提供强一致性保证
- BoltDB:一个支持事务的KV存储引擎,用于对ETCD数据的持久化,支持并发读事务,串行写事务
- WAL 预写式日志:etcd中的数据提交都会先记录到日志,日志成功后才会做数据持久化
- Snapshot,快照:防止WAL日志过多,用于存储某一时刻etcd的所有数据,可用于节点故障恢复(比如每产生1w次提交,即写1w次日志,做一次快照)
- gRPC Server:节点与节点,节点与客户端通过gRPC 通信和信息同步,每个节点都是一个gRPC 服务器
- Raft:共识算法,etcd数据强一致性的保障
- Client:etcd客户端,可以是命令行客户端 etcdctl ,也可以是各个语言版本的client库,可通过grpc与http与server端通信