学习笔记 | 使用增强版 singleflight 合并事件推送,效果炸裂

简介: 学习笔记 | 使用增强版 singleflight 合并事件推送,效果炸裂

go01.jpeg

https://mp.weixin.qq.com/s/KUkzHS4Yfad3l_CnU49lLg

singleflight 是什么

singleflight 直接翻译为"单(次)飞(行)"

举个例子,当程序中有读(如 Redis、MySQL、Http、RPC等)请求,且并发非常高的情况,使用 singleflight 能得到比较好的效果,它限制了同一时刻只有一个请求在执行,也就是并发永远为1

singleflight 的原理

将整个代码分成三块:

① 懒加载方式初始化 map;

② 如果当前 key 存在,即相同请求正在调用中,就等它完成,完成后直接使用它的 value 和 error;

③ 如果当前 key 不存在,即没有相同请求正在调用中,就创建一个 call 对象,并把它放进 map,接着执行 fn 函数,当函数执行完唤醒 waitGroup,并删除 map 相应的 key,返回 value 和 error

读可以抑制,写呢?

增强代码参考

package singleflight


import(

"sync"

)


type WriteGroup struct{

mu    sync.Mutex

wgs   map[string]*sync.WaitGroup

group Group

}


func(g *WriteGroup)Do(key string, fn func()error)error{

g.mu.Lock()

if g.wgs ==nil{

 g.wgs =make(map[string]*sync.WaitGroup)

}

wg, ok := g.wgs[key]

if!ok {

 wg =&sync.WaitGroup{}

 wg.Add(1)

 g.wgs[key]= wg

}

g.mu.Unlock()


if!ok {

 err :=fn()


 g.mu.Lock()

 wg.Done()

 delete(g.wgs, key)

 g.mu.Unlock()

 return err

}


wg.Wait()

_, err := g.group.Do(key,func()(interface{},error){

 returnnil,fn()

})

return err

}

目录
相关文章
|
7月前
|
人工智能 语音技术 云计算
基于客户真实使用场景的云剪辑Timeline问题解答与代码实操
本文为阿里云智能媒体服务IMS「云端智能剪辑」实践指南第6期,从客户真实实践场景出发,分享一些Timeline小技巧(AI_TTS、主轨道、素材对齐),助力客户降低开发时间与成本。
135639 86
基于客户真实使用场景的云剪辑Timeline问题解答与代码实操
|
4月前
|
Prometheus DataWorks 安全
DataWorks产品使用合集之如何完成更新完自动推送到外部系统触发更新
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
|
5月前
|
小程序 API 数据库
【微信小程序-原生开发】实用教程09 - 可滚动选项,动态列表-步骤条(含事件传参),动态详情(含微信云查询单条数据 doc)
【微信小程序-原生开发】实用教程09 - 可滚动选项,动态列表-步骤条(含事件传参),动态详情(含微信云查询单条数据 doc)
85 0
|
4月前
|
监控 Java API
【揭秘】如何用Flink CEP揪出那些偷偷摸摸连续登录失败的“捣蛋鬼”?——一场数据流中的侦探游戏
【8月更文挑战第26天】Flink 是一款先进的流处理框架,提供复杂事件处理(CEP)功能以识别实时数据流中的特定模式。CEP 在 Flink 中通过 `CEP` API 实现,支持基于模式匹配的事件检测。本文通过监测用户连续三次登录失败的具体案例介绍 Flink CEP 的工作原理与应用方法。首先创建 Flink 环境并定义数据源,接着利用 CEP 定义连续三次失败登录的模式,最后处理匹配结果并输出警报。Flink CEP 能够轻松扩展至更复杂的场景,如异常行为检测和交易欺诈检测等,有效应对多样化的业务需求。
46 0
|
4月前
|
SQL 数据采集 DataWorks
DataWorks产品使用合集之怎么实现推送推多个表格
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
|
7月前
|
SQL Oracle 关系型数据库
实时计算 Flink版产品使用合集之flinkcdc回撤流如果更新之前的数据,会把先前的数据删除,再插入更新的数据吗
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStreamAPI、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
|
7月前
|
敏捷开发 监控 测试技术
云效产品使用常见问题之改回老版迭代分组列表的风格失败如何解决
云效作为一款全面覆盖研发全生命周期管理的云端效能平台,致力于帮助企业实现高效协同、敏捷研发和持续交付。本合集收集整理了用户在使用云效过程中遇到的常见问题,问题涉及项目创建与管理、需求规划与迭代、代码托管与版本控制、自动化测试、持续集成与发布等方面。
|
7月前
|
设计模式 小程序 安全
【社区每周】商家分账接入指南更新;基础库新增抽象节点功能及上周问题反馈(2月第二期)
【社区每周】商家分账接入指南更新;基础库新增抽象节点功能及上周问题反馈(2月第二期)
185 11
|
7月前
|
数据安全/隐私保护
自动阅读专业版第六次更新
自动阅读专业版第六次更新
39 0
|
开发者
评审不通过开发者的提交工具一直显示推送状态,必须通过后推送的信息才会消失
在使用sourcetree时,开发者提交推送代码后,评审不通过,sourcetree上边一直显示推送的状态,只有通过评审推送状态才会消失。
下一篇
无影云桌面