开发者社区> alwaysbeta> 正文

开源项目|Go 开发的一款分布式唯一 ID 生成系统

简介: 开源项目|Go 开发的一款分布式唯一 ID 生成系统
+关注继续查看

原文连接: 开源项目|Go 开发的一款分布式唯一 ID 生成系统


今天跟大家介绍一个开源项目:id-maker,主要功能是用来在分布式环境下生成唯一 ID。上周停更了一周,也是用来开发和测试这个项目的相关代码。


美团有一个开源项目叫 Leaf,使用 Java 开发。本项目就是在此思路的基础上,使用 Go 开发实现的。


项目整体代码量并不多,不管是想要在实际生产环境中使用,还是想找个项目练手,我觉得都是一个不错的选择。


项目背景


在大部分系统中,全局唯一 ID 都是一个强需求。比如快递,外卖,电影等,都需要生成唯一 ID 来保证单号唯一。


那业务系统对 ID 号的要求有哪些呢?


  1. 全局唯一性:不能出现重复的 ID 号,既然是唯一标识,这是最基本的要求。


  1. 趋势递增:在 MySQL InnoDB 引擎中使用的是聚集索引,由于多数 RDBMS 使用 B-tree 的数据结构来存储索引数据,在主键的选择上面我们应该尽量使用有序的主键保证写入性能。


  1. 单调递增:保证下一个 ID 一定大于上一个 ID,例如事务版本号、IM 增量消息、排序等特殊需求。


  1. 信息安全:如果 ID 是连续的,恶意用户的扒取工作就非常容易做了,直接按照顺序下载指定 URL 即可;如果是订单号就更危险了,竞对可以直接知道我们一天的单量。所以在一些应用场景下,会需要 ID 无规则、不规则。


在此背景下,有一个高可用的唯一 ID 生成系统就很重要了。


项目使用


生成 ID 分两种方式:


  1. 根据数据库生成 ID。
  2. 根据雪花算法生成 ID。


使用上提供两种方式来调用接口:


  1. HTTP 方式
  2. gRPC 方式


HTTP 方式


1、健康检查:


curl http://127.0.0.1:8080/ping
复制代码


2、获取 ID:


获取 tag 是 test 的 ID:


curl http://127.0.0.1:8080/v1/id/test
复制代码


3、获取雪花 ID:


curl http://127.0.0.1:8080/v1/snowid
复制代码


gRPC 方式


1、获取 ID:


grpcurl -plaintext -d '{"tag":"test"}' -import-path $HOME/src/id-maker/internal/controller/rpc/proto -proto segment.proto localhost:50051 proto.Gid/GetId
复制代码


2、获取雪花 ID:


grpcurl -plaintext -import-path $HOME/src/id-maker/internal/controller/rpc/proto -proto segment.proto localhost:50051 proto.Gid/GetSnowId
复制代码


本地开发


# Run MySQL
$ make compose-up
# Run app with migrations
$ make run
复制代码


项目架构


项目使用 go-clean-template 架构模板开发,目录结构如下:


d6f6396dc9eb4893aa8711526f1c0937~tplv-k3u1fbpfcp-zoom-in-crop-mark 1304 0 0 0.png


下面对各目录做一个简要说明:


  • cmd:程序入口
  • config:配置文件
  • docs:生成的项目文档
  • integration-test:整合测试
  • internal:业务代码
  • pkg:一些调用的包


借用官方的两张图:


QQ图片20220423140248.png


整体的层次关系是这样的,最里面是 models,定义我们的表结构,然后中间是业务逻辑层,业务逻辑层会提供接口,给最外层的 API 来调用,最外层就是一些工具和调用入口。


这样做的最大好处就是解耦,不管最外层如何变化,只要在业务逻辑层实现对应接口即可,核心代码可能根本不需要改变。


所以,它们之间的调用关系看起来是这样的:


QQ图片20220423140250.png


HTTP > usecase
       usecase > repository (Postgres)
       usecase < repository (Postgres)
HTTP < usecase
复制代码


版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
Apache ShardingSphere:由开源驱动的分布式数据库中间件生态
2021 年 7 月 21 日 2021 亚马逊云科技中国峰会现场,SphereEx 联合创始人、Apache ShardingSphere PMC 潘娟受邀参与此次峰会,以《Apache ShardingSphere 分布式数据库中间件开源生态构建》为主题,围绕开源理念扩散、社区建设、ShardingSphere 如何践行 Apache Way 等方面展开了介绍,本文总结自潘娟内容分享。
113 0
Java 版学生成绩管理系统,附源码
Java 版学生成绩管理系统,附源码
105 0
冰河开源了全网首个完全开源的分布式全局有序序列号(分布式ID)框架!!
mykit-serial框架的设计参考了李艳鹏大佬开源的vesta框架,并彻底重构了mykit-serial框架,借鉴了雪花算法(SnowFlake)的思想,并在此基础上进行了全面升级和优化。支持嵌入式(Jar包)、RPC(Dubbo,motan、sofa、SpringCloud、SpringCloud Alibaba等主流的RPC框架)、Restful API(支持SpringBoot和Netty),可支持最大峰值型和最小粒度型两种模式。
66 0
【云周刊】第170期:技术人生-看90后如何逆袭,从实习生成长为阿里云分布式NoSQL领域专家
【技术人生】看90后如何逆袭,从实习生成长为阿里云分布式NoSQL领域专家,【超级干货】突破自我,—文看尽DataWorks全新升级以及在城市大脑的广泛应用,【超级干货】突破自我,—文看尽DataWorks全新升级以及在城市大脑的广泛应用 ! ...更多精彩内容,尽在云周刊!
4312 0
解读OpenMessaging开源项目,阿里巴巴发起首个分布式消息领域的国际标准
OpenMessaging项目由阿里巴巴发起,与雅虎、滴滴出行、Streamlio公司共同参与创立,项目意在创立厂商无关、平台无关的分布式消息及流处理领域的应用开发标准。据发起人介绍,随着标准的不断演进,会有更多的互联网、云计算厂商参与到该项目以及生态体系中来。
11347 0
推荐14款非常有用的 CSS 网格系统生成工具
今天这篇文章向大家推荐14款非常有用的 CSS 网格系统生成工具,它们能够帮助你构建适合你网站项目的 CSS 网格系统。一个系统化、结构合理的布局使得能够更快更轻松的组织网站的内容。网格系统为网页设计师们提供了一种快速构造网页内容布局的方法,帮助设计师们节省了大量的时间和精力。
584 0
Android开发6——布局中的wrap_content和fill_parent以及match_parent
  一、言简意赅 fill_parent 是让控件宽或者高占全屏 wrap_content是让控件的高或宽仅仅把控件里的内容包裹住而不是全屏     二、分别来看  1 fill_parent 设置一个构件的布局为fill_parent将强制性地使构件扩展,以填充布局单元内尽可能多的空间。这跟Windows控件的dockstyle属性大体一致。设置一个顶部布局或控件为fil
1153 0
+关注
alwaysbeta
大厂程序员,专注分享硬核后端开发技术。
131
文章
0
问答
文章排行榜
最热
最新
相关电子书
更多
JS零基础入门教程(上册)
立即下载
性能优化方法论
立即下载
手把手学习日志服务SLS,云启实验室实战指南
立即下载