go语言并发实战——日志收集系统(七) etcd的介绍与简单使用

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
简介: go语言并发实战——日志收集系统(七) etcd的介绍与简单使用

什么是etcd

etcd是基于Go语言开发的一个开源且高可用的分布式key-value存储系统,我们可以在上面实现配置共享与服务的注册与发现。

和它比较相似的还有我们之间所提到的Zookeeper以及consul.(注:后面我们学习微服务的时候etcd和consul会有广泛的使用)

etcd有以下几点特点:

  • 完全复制:集群中的每个节点都可以使用完整的存档
  • 高可用:Etcd可用于避免硬件的单点故障或网络问题
  • 一致性:每次读取都会返回跨多主机的最新写入
  • 简单:包含一个定义良好,面相用户的API(grpc)
  • 安全:实现了带有可选的客户端证书身份验证的自动化TLS
  • 可靠:使用raft算法实现了强一一致,高可用的服务存储目录

etcd应用场景

服务发现

服务发现是分布式系统中比较常见的问题之一,指的是在同一个分布式集群中的进程或服务如何找到彼此并建立连接,而从本质上来说,就是了解集群中是否有集群

在监听udp/tcp端口,并且通过名字就可以查找或连接。

配置中心

我们将一些配置信息发到etcd上进行集中管理,主要流程是应用在启动的时候主动从etcd中获取一次配置信息,同时我们在etcd上注册一个Watcher并等

待,每次配置更新时,etcd实时通知订阅者来获取最新配置消息。

分布式锁

因为etcd使用了raft算法来实现强一致性,所以某次操作存储到集群中的值必然是全局一致的,所以很容易实现分布式锁,而锁服务主要的使用方式有以下两种:

  • 保证获取锁的用户最后只有一个可以得到
  • 控制时序,所有想获得锁的用户都会被安排执行,但是获取锁的顺序是全局唯一的,这也决定了执行顺序

etcd结构图

  • Http Server:用于处理用户发送的API请求与其他etcd节点的同步与心跳信息请求
  • Raft:强一致散发的具体实现
  • Store:用于处理etcd支持的各种功能的事务,包括数据索引,节点状态变更,事件的助理与执行等等。
  • WAL:预写式日志,是etcd数据存储的方式。除了在内存存有数据的状态以及节点的索引外,都主要通过WAL做持久化存储,WAL中,所有数据在提交前都会事先
    记录日志,Snapshot是用于防止存储WAL中数据过多的状态快照,Entry表示存储具体日志。

etcd的下载与简单使用

etcd的下载地址

下载地址

简单使用

  • 打开服务端
    下载完后将压缩包解压,打开文件夹:

    双击etcd.exe,打开服务端
  • 打开命令行,将客户端与服务端连接起来,输入键值对:

    查询键值对:


相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
相关文章
|
9天前
|
Shell Go API
Go语言grequests库并发请求的实战案例
Go语言grequests库并发请求的实战案例
|
1天前
|
安全 Go 数据处理
探索Go语言的并发之美:Goroutines与Channels
在Go语言的世界里,"并发"不仅仅是一个概念,它是一种生活的方式。本文将带你领略Go语言中Goroutines和Channels的魔力,它们是如何让并发编程变得既简单又高效。我们将通过一个简单的示例,展示如何使用这些工具来构建一个高性能的网络服务。
|
1月前
|
关系型数据库 MySQL API
我用 go-zero 一周实现了一个中台系统
我用 go-zero 一周实现了一个中台系统
|
1月前
|
存储 JSON 前端开发
一文搞懂 Go 1.21 的日志标准库 - slog
一文搞懂 Go 1.21 的日志标准库 - slog
54 2
|
27天前
|
监控 Go 开发者
掌握Go语言中的日志管理
【8月更文挑战第31天】
13 0
|
27天前
|
Go 开发者
|
27天前
|
监控 Devops 测试技术
|
27天前
|
存储 编译器 Go
|
3月前
|
Go
go语言并发编程(五) ——Context
go语言并发编程(五) ——Context
|
3月前
|
存储 缓存 Go
Go语言并发编程(三)——初窥管道
Go语言并发编程(三)——初窥管道