更简的并发代码,更强的并发控制

简介: 更简的并发代码,更强的并发控制

有没感觉 Gosync 包不够用?有没遇到类型没有 sync/atomic 支持?

我们一起看看 go-zerosyncx 包对标准库的一些增值补充。

https://github.com/tal-tech/go-zero/tree/master/core/syncx

name 作用
AtomicBool bool类型 原子类
AtomicDuration Duration有关 原子类
AtomicFloat64 float64类型 原子类
Barrier 栏栅【将加锁解锁包装】
Cond 条件变量
DoneChan 优雅通知关闭
ImmutableResource 创建后不会修改的资源
Limit 控制请求数
LockedCalls 确保方法的串行调用
ManagedResource 资源管理
Once 提供 once func
OnceGuard 一次性使用的资源管理
Pool pool,简单的池
RefResource 引用计数的资源
ResourceManager 资源管理器
SharedCalls 类似 singflight 的功能
SpinLock 自旋锁:自旋+CAS
TimeoutLimit Limit + timeout 控制

atomic

因为没有 泛型 支持,所以才会出现多种类型的原子类支持。以下采用 float64 作为例子:

func (f *AtomicFloat64) Add(val float64) float64 {
 for {
  old := f.Load()
  nv := old + val
  if f.CompareAndSwap(old, nv) {
   return nv
  }
 }
}
func (f *AtomicFloat64) CompareAndSwap(old, val float64) bool {
 return atomic.CompareAndSwapUint64((*uint64)(f), math.Float64bits(old), math.Float64bits(val))
}
func (f *AtomicFloat64) Load() float64 {
 return math.Float64frombits(atomic.LoadUint64((*uint64)(f)))
}
func (f *AtomicFloat64) Set(val float64) {
 atomic.StoreUint64((*uint64)(f), math.Float64bits(val))
}
  • Add(val):如果 CAS 失败,不断for循环重试,获取 old val,并set old+val;
  • CompareAndSwap(old, new):调用底层 atomicCAS
  • Load():调用 atomic.LoadUint64 ,然后转换
  • Set(val):调用 atomic.StoreUint64

至于其他类型,开发者想自己扩展自己想要的类型,可以依照上述,基本上调用原始 atomic 操作,然后转换为需要的类型,比如:遇到 bool 可以借助 0, 1 来分辨对应的 false, true

Barrier

这里 Barrier 只是将业务函数操作封装,作为闭包传入,内部将 lock 操作的加锁解锁自行解决了【防止开发者加锁了忘记解锁】

func (b *Barrier) Guard(fn func()) {
 b.lock.Lock()
 defer b.lock.Unlock()
  // 自己的业务逻辑
 fn()
}

Cond/Limit/TimeoutLimit

这个数据结构和 Limit 一起组成了 TimeoutLimit ,这里将这3个一起讲:

func NewTimeoutLimit(n int) TimeoutLimit {
 return TimeoutLimit{
  limit: NewLimit(n),
  cond:  NewCond(),
 }
}
func NewLimit(n int) Limit {
 return Limit{
  pool: make(chan lang.PlaceholderType, n),
 }
}
  • limit 这里是有缓冲的 channel
  • cond 是无缓冲的;

所以这里结合名字来理解:因为 Limit 是限制某一种资源的使用,所以需要预先在资源池中放入预置数量的资源;Cond 类似阀门,需要两边都准备好,才能进行数据交换,所以使用无缓冲,同步控制。

这里我们看看 stores/mongo 中关于 session 的管理,来理解 资源控制:

func (cs *concurrentSession) takeSession(opts ...Option) (*mgo.Session, error) {
  // 选项参数注入
 ...
  // 看 limit 中是否还能取出资源
 if err := cs.limit.Borrow(o.timeout); err != nil {
  return nil, err
 } else {
  return cs.Copy(), nil
 }
}
func (l TimeoutLimit) Borrow(timeout time.Duration) error {
  // 1. 如果还有 limit 中还有资源,取出一个,返回
 if l.TryBorrow() {
  return nil
 }
 // 2. 如果 limit 中资源已经用完了
 var ok bool
 for {
    // 只有 cond 可以取出一个【无缓存,也只有 cond <- 此条才能通过】
  timeout, ok = l.cond.WaitWithTimeout(timeout)
    // 尝试取出一个【上面 cond 通过时,就有一个资源返回了】
    // 看 `Return()`
  if ok && l.TryBorrow() {
   return nil
  }
  // 超时控制
  if timeout <= 0 {
   return ErrTimeout
  }
 }
}
func (l TimeoutLimit) Return() error {
  // 返回去一个资源
 if err := l.limit.Return(); err != nil {
  return err
 }
 // 同步通知另一个需要资源的协程【实现了阀门,两方交换】
 l.cond.Signal()
 return nil
}

资源管理

同文件夹中还有 ManagedResource &ResourceManager,从名字上类似,这里将两个组件放在一起讲解。

先从结构上:

type ManagedResource struct {
  // 资源
 resource interface{}
 lock     sync.RWMutex
  // 生成资源的逻辑,由开发者自己控制
 generate func() interface{}
  // 对比资源
 equals   func(a, b interface{}) bool
}
type ResourceManager struct {
  // 资源:这里看得出来是 I/O,
 resources   map[string]io.Closer
 sharedCalls SharedCalls
  // 对资源map互斥访问
 lock        sync.RWMutex
}

然后来看获取资源的方法签名:

func (manager *ResourceManager) GetResource(key, create func() (io.Closer, error)) (io.Closer, error)
// 获取一个资源(有就直接获取,没有生成一个)
func (mr *ManagedResource) Take() interface{}
// 判断这个资源是否不符合传入的判断要求,不符合则重置
func (mr *ManagedResource) MarkBroken(resource interface{})
  1. ResourceManager 使用 SharedCalls 做防重复请求,并将资源缓存在内部的 sourMap;另外传入的 create funcIO 操作有关,常见用在网络资源的缓存;
  2. ManagedResource 缓存资源没有 map 而是单一的 interface ,说明只有一份,但是它提供了 Take() 和传入 generate()说明可以让开发者自行更新 resource

所以在用途上:

  • ResourceManager:用在网络资源的管理。如:数据库连接管理;
  • ManagedResource:用在一些变化资源,可以做资源前后对比,达到更新资源。如:token 管理和验证

RefResource

这个就和 GC 中引用计数类似:

  • Use() -> ref++
  • Clean() -> ref--; if ref == 0 -> ref clean
func (r *RefResource) Use() error {
  // 互斥访问
 r.lock.Lock()
 defer r.lock.Unlock()
 // 清除标记
 if r.cleaned {
  return ErrUseOfCleaned
 }
 // 引用 +1
 r.ref++
 return nil
}

SharedCalls

一句话形容:使用SharedCalls可以使得同时多个请求只需要发起一次拿结果的调用,其他请求"坐享其成",这种设计有效减少了资源服务的并发压力,可以有效防止缓存击穿

这个组件被反复应用在其他组件中,上面说的 ResourceManager

类似当需要高频并发访问一个资源时,就可以使用 SharedCalls 缓存。

// 当多个请求同时使用Do方法请求资源时
func (g *sharedGroup) Do(key string, fn func() (interface{}, error)) (interface{}, error) {
  // 先申请加锁
  g.lock.Lock()
  // 根据key,获取对应的call结果,并用变量c保存
  if c, ok := g.calls[key]; ok {
    // 拿到call以后,释放锁,此处call可能还没有实际数据,只是一个空的内存占位
    g.lock.Unlock()
    // 调用wg.Wait,判断是否有其他goroutine正在申请资源,如果阻塞,说明有其他goroutine正在获取资源
    c.wg.Wait()
    // 当wg.Wait不再阻塞,表示资源获取已经结束,可以直接返回结果
    return c.val, c.err
  }
  // 没有拿到结果,则调用makeCall方法去获取资源,注意此处仍然是锁住的,可以保证只有一个goroutine可以调用makecall
  c := g.makeCall(key, fn)
  // 返回调用结果
  return c.val, c.err
}

总结

不重复造轮子,一直是 go-zero 设计主旨之一;也同时将平时业务沉淀到组件中,这才是框架和组件的意义。

关于 go-zero 更多的设计和实现文章,可以持续关注我们。欢迎大家去关注和使用。

项目地址

https://github.com/tal-tech/go-zero

相关文章
|
9天前
|
存储 弹性计算 缓存
阿里云服务器租赁费用:新版租赁收费标准及活动报价参考
本文更新了2026年阿里云全系列云服务器租赁活动报价,所有特惠资源均可前往阿里云活动中心选购,整体覆盖从个人入门到企业级高性能场景的全梯度需求。其中轻量应用服务器主打极致性价比,2核2G峰值200M带宽配置每日10点、15点限时抢购价仅38元/年,2核4G配置379元/年起;高性价比的经济型e实例、通用算力型u2i实例覆盖2核4G至4核32G全档位,适配开发测试与中小型企业业务;搭载英特尔至强6处理器的第九代c9i企业级实例算力较上代提升20%,支撑高并发生产环境,不同实例规格价差清晰,用户可根据自身业务负载与预算灵活选型。
1906 119
阿里云服务器租赁费用:新版租赁收费标准及活动报价参考
|
10天前
|
人工智能 程序员 API
Codex 接入 DeepSeek-V4-Flash:还能补上识图,提供两套方案
Codex 接入 DeepSeek-V4-Flash 怎么配?本文覆盖 CLI 与桌面端,再用 qwen3-vl-flash 补识图,两套方案可直接照做
1462 13
|
16天前
|
云安全 人工智能 运维
阿里云联动百位企业安全专家,共识Agent防御最佳实践
当Agent成为新员工,你的安全边界在哪里?
1966 10
阿里云联动百位企业安全专家,共识Agent防御最佳实践
|
7天前
|
编解码 弹性计算 云计算
MiniMax-H3 视频生成模型 — 一键部署与使用指南
MiniMax-H3是MiniMax开源的33B全模态视频生成模型,支持文生视频、图生视频、参考生视频三种模式,原生输出2K/15秒带立体声音频视频,已原生适配ComfyUI,并可通过阿里云计算巢一键部署。(239字)
|
10天前
|
人工智能 JSON Shell
2026AI漫剧本地全开源方案(附各个软件模型链接),8G显卡也能流畅运行
这是一套完全本地化部署的AI漫剧生成技术链路:涵盖LLM剧本分镜生成、FLUX文生图(IP-Adapter人脸锁定)、StoryDiffusion时序连贯控制、LTX-2.3唇形同步视频生成,及ComfyUI全流程调度。零云端费用,仅耗硬件算力,单集2–4小时可产出竖屏短视频,适配抖音/B站分发。
|
8天前
|
人工智能 API 开发工具
2026 零基础本地 AI 漫剧完整实操教程(8G 笔记本显卡可用|附可直接复制命令与代码)
本方案提供完全离线、本地运行的漫剧全自动制作流程:RTX3060/4050 8G显卡即可驱动,涵盖Qwen写分镜→ComfyUI统一角色绘图→LTX2.3图生微动画→Qwen3-TTS本地配音→FFmpeg自动合成,全程无水印、免API、不限次。专为低显存优化,解决变脸、闪烁、爆内存三大痛点。(239字)
|
22天前
|
人工智能 前端开发 Linux
Codex 桌面版安装 + CC Switch 接入第三方 API 完整教程(2026 最新)
2026最新教程:手把手教你安装Codex桌面版,通过CC Switch v3.17.0一键接入Fenno等国产API(兼容OpenAI Responses格式),跳过账号登录,完整启用代码审查、多步任务与上下文感知功能。零基础友好,全程图文实操。(239字)
3442 5
|
10天前
|
编解码 人工智能 安全
2核4G/4核8G/8核16G阿里云服务器如何选择实例?经济型e、通用算力型u2i与计算型c9i选哪个?
本文介绍了阿里云2核4G、4核8G、8核16G三档主流配置下经济型e、通用算力型u2i和计算型c9i三种实例的最新活动价格与适用场景。同配置下三者价差显著,以2核4G为例,经济型e低至599.93元/年,计算型c9i则高达1742.08元/年。文章详细解析了各实例的性能定位:经济型e适合轻负载入门场景,u2i兼顾稳定算力与性价比,c9i凭借第9代至强处理器与芯片级安全能力支撑高性能业务。同时提示用户可叠加满减优惠券享受折上折,建议根据业务负载与预算综合决策。
555 113