etcd源码分析 - 4.【打通核心流程】processInternalRaftRequestOnce四个细节

简介: 在上一讲,我们继续梳理了`PUT`请求到`EtcdServer`这一层的逻辑,并大概阅读了其中的关键函数`processInternalRaftRequestOnce`。

在上一讲,我们继续梳理了PUT请求到EtcdServer这一层的逻辑,并大概阅读了其中的关键函数processInternalRaftRequestOnce

这个方法里面有不少细节,我们今天就选择其中有价值的四点来看看。

1. entry索引 - appliedIndex与committedIndex

在etcd中,我们将每个客户端的操作(如PUT)抽象为一个日志项(entry)。如果这个操作生效,etcd就将这个entry项同步给其它etcd server,作为数据同步。

操作有顺序之分,于是服务端就保存了一个长entry数组,用一个关键的索引index来进行区分entry数组(即一个分界的标志),对entry状态进行分类:

  • entry处于状态A - 小于等于索引的entry项
  • entry处于状态B - 大于索引的entry项

一般状态A和B都是互补的,即是一种二分类状态。

而由于分布式的特性,entry不能立刻完成执行的,于是这里就区分出了两种状态,它们复用一个entry数组:

  • 已应用 - applied
  • 已提交 - committed

对应索引appliedIndexcommittedIndex

// 函数用atomic保证原子性
ai := s.getAppliedIndex()
ci := s.getCommittedIndex()
// 两者的差值,表示已应用但是未提交的entry数,不能太多
if ci > ai+maxGapBetweenApplyAndCommitIndex {
   
  return nil, ErrTooManyRequests
}

entry数组中的索引的一致性非常重要,尤其是在并发的场景下。而示例中的原子操作,其实是一种乐观锁的实现。

更多的细节就涉及到分布式相关了,这里就不展开。

2.id生成器 - idutil.Generator

Generator数据结构不复杂,它的设计详情都放在了备注里,我们可以自行阅读:

// Generator generates unique identifiers based on counters, timestamps, and
// a node member ID.
//
// The initial id is in this format:
// High order 2 bytes are from memberID, next 5 bytes are from timestamp,
// and low order one byte is a counter.
// | prefix   | suffix              |
// | 2 bytes  | 5 bytes   | 1 byte  |
// | memberID | timestamp | cnt     |

在很多分布式系统中,都需要有一套唯一id生成器。etcd的这个方案相对简单,就是 成员id+时间戳 的组合方案。

关于分布式唯一id,更全面的设计可以参考Snowflake,如 https://segmentfault.com/a/1190000020899379

3.认证模块 - auth.AuthStore

authInfo, err := s.AuthInfoFromCtx(ctx)

认证功能在成熟软件中非常常见。在etcd,被独立到了etcd/auth模块中。这个模块的内部调用不复杂,功能就是从context中提取出 用户名+版本信息

这个提取过程中值得注意的是,AuthStore是从grpcmetadata提取出想要的认证信息,而metadata类似于HTTP1协议中的header,是一种用KV形式保存和提取数据的结构。

串联一下我们之前的思路,etcd通过grpc-gateway将HTTP1转化成了gRPC,那么就有一个 HTTP header到grpc metadata的映射过程,有兴趣的可以去研究一下。

总体来说,etcd的认证模块做得很简单,也方便其接入service-mesh。

4.多协程小工具 - wait.Wait

wait.Wait是一个很精巧的小工具,使用起来非常简单:

// 示例代码
ch := s.w.Register(id)
s.w.Trigger(id, nil)

我们可以在etcd/pkg/wait目录下看到它的具体实现,我提取了重点

// 通过id,来等待和触发对应的事件。
// 注意使用的顺序:先等待,再触发。
type Wait interface {
   
  // 等待,即注册一个id
    Register(id uint64) <-chan interface{
   }
    // 触发,用一个id
    Trigger(id uint64, x interface{
   })
    IsRegistered(id uint64) bool
}

// 实现:读写锁+map数据结构
type list struct {
   
    l sync.RWMutex
    m map[uint64]chan interface{
   }
}

// 注册一个id
func (w *list) Register(id uint64) <-chan interface{
   } {
   
    w.l.Lock()
    defer w.l.Unlock()
    ch := w.m[id]
    if ch == nil {
   
    // go官方建议带buffer的channel尽量设置大小为1
        ch = make(chan interface{
   }, 1)
        w.m[id] = ch
    } else {
   
    // 不允许重复
        log.Panicf("dup id %x", id)
    }
    return ch
}

// 触发id的channel
func (w *list) Trigger(id uint64, x interface{
   }) {
   
    w.l.Lock()
    ch := w.m[id]
    delete(w.m, id)
  // 取出ch后直接Unlock(可以思考一下与defer的区别)
    w.l.Unlock()
  // 如果触发的id不存在map里,就直接跳过这个判断
    if ch != nil {
   
        ch <- x
        close(ch)
    }
}

了解Wait的实现之后,我们就知道在正常情况下,RegisterTrigger必须一一对应。

但是,我们再往下看processInternalRaftRequestOnce这部分代码,发现了一个异常点:

select {
   
  // 异常:没有找到Trigger,难道忘了?
    case x := <-ch:
        return x.(*applyResult), nil
  // 正常:用Trigger退出
    case <-cctx.Done():
        proposalsFailed.Inc()
        s.w.Trigger(id, nil) 
        return nil, s.parseProposeCtxErr(cctx.Err(), start)
  // 正常:整个server停止,此时不用关心单个Trigger了
    case <-s.done:
        return nil, ErrStopped
}

这里,我们可以做个简单的猜测:在另一个goroutine中,这个etcd server进行了一个操作,包括下面两步:

  1. ch这个channel里发送了一个*applyResult结构的消息
  2. 对wait进行了Trigger操作

小结

今天我们进一步阅读了processInternalRaftRequestOnce中的四个细节,加强了etcd server对请求处理的印象。

etcd作为一款优秀的开源项目,其模块设计比较精巧,而阅读源码的同学也要掌握一个技巧:适当控制阅读深度。比如,在阅读PUT请求时,第一阶段阅读到EtcdServerprocessInternalRaftRequestOnce这层即可:

  • 如果继续深入看raftNode等实现,很容易导致你的整体思路变成过程性的调用,学习不成体系
  • 这时,回过头来巩固一下当前学习的部分,通过串联细节来加深印象,会对你梳理整体更有帮助
目录
相关文章
|
JavaScript 前端开发 API
详解React与Vue的性能对比
详解React与Vue的性能对比
776 0
etcd源码分析 - 2.【打通核心流程】PUT键值对匹配处理函数
在阅读了etcd server的启动流程后,我们对很多关键性函数的入口都有了初步印象。 那么,接下来我们一起看看对键值对的修改,在etcd server内部是怎么流转的。
250 0
etcd源码分析 - 2.【打通核心流程】PUT键值对匹配处理函数
|
IDE Go 开发工具
etcd源码分析 - 5.【打通核心流程】EtcdServer消息的处理函数
在上一讲,我们梳理了`EtcdServer`的关键函数`processInternalRaftRequestOnce`里的四个细节。 其中,`wait.Wait`组件使用里,我们还遗留了一个细节实现,也就是请求的处理结果是怎么通过channel返回的。
367 0
etcd源码分析 - 5.【打通核心流程】EtcdServer消息的处理函数
|
XML JSON Go
etcd源码分析 - 3.【打通核心流程】PUT键值对的执行链路
在上一讲,我们一起看了etcd server是怎么匹配到对应的处理函数的,如果忘记了请回顾一下。 今天,我们再进一步,看看`PUT`操作接下来是怎么执行的。
304 0
|
存储 JSON NoSQL
ETCD教程-4.深入ETCD
目前etcd主要经历了3个大的版本,分别为etcd 0.4版本、etcd 2.0版本和etcd 3.0版本。
1324 0
ETCD教程-4.深入ETCD
|
域名解析 Kubernetes 网络协议
【K8S系列】深入解析DNS
【K8S系列】深入解析DNS
1081 0
|
机器学习/深度学习 计算机视觉 Python
【YOLOv11改进 - 注意力机制】EMA(Efficient Multi-Scale Attention):基于跨空间学习的高效多尺度注意力
【YOLOv11改进 - 注意力机制】EMA(Efficient Multi-Scale Attention):基于跨空间学习的高效多尺度注意力.EMA(Efficient Multi-Scale Attention)模块是一种高效多尺度注意力机制,旨在提高计算机视觉任务中的特征表示效果。该模块通过结合通道和空间信息、采用多尺度并行子网络结构以及优化坐标注意力机制,实现了更高效和有效的特征表示。EMA模块在图像分类和目标检测任务中表现出色,使用CIFAR-100、ImageNet-1k、MS COCO和VisDrone2019等数据集进行了广泛测试。
【YOLOv11改进 - 注意力机制】EMA(Efficient Multi-Scale Attention):基于跨空间学习的高效多尺度注意力
|
存储 缓存 自然语言处理
深度解析ElasticSearch:构建高效搜索与分析的基石
【9月更文挑战第8天】在数据爆炸的时代,如何快速、准确地从海量数据中检索出有价值的信息成为了企业面临的重要挑战。ElasticSearch,作为一款基于Lucene的开源分布式搜索和分析引擎,凭借其强大的实时搜索、分析和扩展能力,成为了众多企业的首选。本文将深入解析ElasticSearch的核心原理、架构设计及优化实践,帮助读者全面理解这一强大的工具。
892 8
|
缓存 安全 Java
Java里为什么单利一定要加volatile呢?
【8月更文挑战第11天】Java里为什么单利一定要加volatile呢?
335 3