Go语言微服务框架 - 6.用Google风格的API接口打通MySQL操作

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
云数据库 RDS PostgreSQL,集群系列 2核4GB
简介: 随着RPC与MySQL的打通,整个框架已经开始打通了数据的出入口。接下来,我们就尝试着实现通过RPC请求操作MySQL数据库,打通整个链路,真正地让这个平台实现可用。

随着RPC与MySQL的打通,整个框架已经开始打通了数据的出入口。

接下来,我们就尝试着实现通过RPC请求操作MySQL数据库,打通整个链路,真正地让这个平台实现可用。

v0.5.0:用Google风格的API接口打通MySQL操作

项目链接 https://github.com/Junedayday/micro_web_service/tree/v0.5.0

目标

从API出发,实现一个数据库表的增删改查。

关键技术点

  1. Google风格的API定义
  2. model与dao的定义
  3. service层的实现

注意,最近buf工具进行了一次不兼容的升级,从v1beta升级到了v1,可通过如下链接下载 https://github.com/bufbuild/buf/releases

目录构造

--- micro_web_service            项目目录
    |-- gen                            从idl文件夹中生成的文件,不可手动修改
       |-- idl                             对应idl文件夹
          |-- demo                             对应idl/demo服务
             |-- demo.pb.go                        demo.proto的基础结构
             |-- demo.pb.gw.go                     demo.proto的HTTP接口,对应gRPC-Gateway
             |-- demo_grpc.pb.go                   demo.proto的gRPC接口代码
            |-- order                            新增:对应idl/order服务
             |-- order.pb.go                       新增:order.proto的基础结构
             |-- order.pb.gw.go                    新增:order.proto的HTTP接口,对应gRPC-Gateway
             |-- order_grpc.pb.go                  新增:order.proto的gRPC接口代码
    |-- idl                            原始的idl定义
       |-- demo                            业务package定义
          |-- demo.proto                       protobuffer的原始定义
       |-- order                           新增:业务order定义
          |-- order.proto                      新增:protobuffer的原始定义
    |-- internal                       项目的内部代码,不对外暴露
       |-- config                          配置相关的文件夹
          |-- viper.go                         viper的相关加载逻辑
       |-- dao                             Data Access Object层
          |-- order.go                         更新:Order对象,订单表,实现model层的OrderRepository
          |-- order_test.go                    Order的单元测试
       |-- model                           新增:model层,定义对象的接口方法
          |-- order.go                         新增:OrderRepository接口,具体实现在dao层
       |-- mysql                           MySQL连接
          |-- init.go                          初始化连接到MySQL的工作
       |-- server                          服务器的实现
          |-- demo.go                          server中对demo这个服务的接口实现
          |-- server.go                        server的定义,须实现对应服务的方法
       |-- service                         新增:service层,作为领域实现的核心部分
          |-- order.go                         新增:Order相关的服务,目前仅简单的CRUD
     |-- zlog                            封装日志的文件夹
        |-- zap.go                           zap封装的代码实现
    |-- buf.gen.yaml                   更新:buf生成代码的定义,从v1beta升到v1
    |-- buf.yaml                       更新:buf工具安装所需的工具,从v1beta升到v1
    |-- gen.sh                         buf生成的shell脚本
    |-- go.mod                         Go Module文件
    |-- main.go                        项目启动的main函数

1.Google风格的API定义

由于整体的定义比较多,这里就以

message CreateOrderRequest {
  Order order = 1;
}

message UpdateOrderRequest {
  Order order = 1;
  google.protobuf.FieldMask update_mask = 2;
}

message GetOrderRequest {
  string name = 1;
}

// Order服务
service OrderService {
  rpc ListOrders(ListOrdersRequest) returns (ListOrdersResponse) {
    option (google.api.http) = {
      get: "/v1/orders"
    };
  }

  // 这里body中的order表示HTTP的body里的数据填充到CreateOrderRequest结构中的order对象
  rpc CreateOrder(CreateOrderRequest) returns (Order) {
    option (google.api.http) = {
      post: "/v1/orders"
      body: "order"
    };
  }

  rpc UpdateOrder(UpdateOrderRequest) returns (google.protobuf.Empty) {
    option (google.api.http) = {
      patch: "/v1/orders"
      body: "*"
    };
  }

  // 这里{name=*}表示这个字段填充到GetOrderRequest里的name字段
  rpc GetOrder(GetOrderRequest) returns (Order) {
    option (google.api.http) = {
      get: "/v1/orders/{name=*}"
    };
  }

  rpc DeleteBook(DeleteBookRequest) returns (google.protobuf.Empty) {
    option (google.api.http) = {
      delete: "/v1/books"
    };
  }
}

这里,我们重点关注以下几个方法:

  1. List - 查询列表,对应HTTP的GET方法
  2. Get - 查询单个对象,对应HTTP的GET方法
  3. Create - 创建对象,对应HTTP的POST方法
  4. Update - 更新对象,对应HTTP的PATCH方法
  5. Delete - 删除对象,对应HTTP的DELETE方法(本次暂未实现,后续添加软删除时加上)

关于Google定义的标准方法细节,可以参考Google Cloud API链接,了解对资源、字段等命名的逻辑。

而对于gRPC-Gateway中对于proto3的语法,可以参考gRPC-Gateway链接

以上两块内容比较多,建议边实践边学习,不要一开始就钻细节。

2.model与dao的定义

为了将模型的定义与数据库的实现分离,我将两者进行了拆分,分别放置在model与dao目录下,定位的简单介绍如下:

  • model,数据模型的定义,更关注对业务层的数据格式统一,底层可以对应各种存储形式,如mysql、redis
  • dao,真实数据存储的操作,也就是model层的实现,目前实现了一种mysql的操作

Model层

重点是统一的数据结构定义Order,以及关键接口OrderRepository的定义。

// Order针对的是 orders 表中的一行数据
// 在这里定义,是为了分离Model与Dao
type Order struct {
   
    Id    int64
    Name  string
    Price float32
}

// OrderFields 作为一个 数据库Order对象+fields字段的组合
// fields用来指定Order中的哪些字段生效
type OrderFields struct {
   
    Order  *Order
    Fields []string
}

type OrderRepository interface {
   
    AddOrder(order *Order) (err error)
    QueryOrders(pageNumber, pageSize int, condition *OrderFields) (orders []Order, err error)
    UpdateOrder(updated, condition *OrderFields) (err error)
}

Dao层

Dao层代码基本与之前一致,重点关注结构体OrderRepo,它是Model层OrderRepository的一种MySQL实现。

type OrderRepo struct {
   
    db *gorm.DB
}

// 将gorm.DB作为一个参数,在初始化时赋值:方便测试时,放一个mock的db
func NewOrderRepo(db *gorm.DB) *OrderRepo {
   
    return &OrderRepo{
   db: db}
}

3.service层的实现

service是核心业务实现,但目前的示例代码比较简单,基本就是透传CRUD。

// 定义Service的实现,注意orderRepo的定义是model层的interface
type OrderService struct {
   
    orderRepo model.OrderRepository
}

// 创建对象,注意orderRepo的实现为dao层代码
func NewOrderService() *OrderService {
   
    return &OrderService{
   
        orderRepo: dao.NewOrderRepo(mysql.GormDB),
    }
}

// 以List为例,透传查询
func (orderSvc *OrderService) List(ctx context.Context, pageNumber, pageSize int, condition *model.OrderFields) ([]model.Order, error) {
   
    orders, err := orderSvc.orderRepo.QueryOrders(pageNumber, pageSize, condition)
    if err != nil {
   
        return nil, errors.Wrapf(err, "OrderService List pageNumber %d pageSize %d", pageNumber, pageSize)
    }
    return orders, nil
}

4.模拟HTTP接口访问

本服务支持gRPC和HTTP访问,但由于gRPC不方便用工具模拟,我们这里就以HTTP对本服务进行访问

// List
curl --request GET 'http://127.0.0.1:8081/v1/orders'

// Create
curl --request POST 'http://127.0.0.1:8081/v1/orders' \
--header 'Content-Type: application/json' \
--data-raw '{
    "name": "order1",
    "price": 100.3
}'

// Update 这里 order 表示数据,update_mask表示更新的字段是price
curl --request PATCH 'http://127.0.0.1:8081/v1/orders' \
--header 'Content-Type: application/json' \
--data-raw '{
    "order": {
        "id": "1",
        "name": "order1",
        "price": 110.9
    },
    "update_mask": "price"
}'

// Get 查询name=order1的对象
curl --request GET 'http://127.0.0.1:8081/v1/orders/order1'

关于Google风格的API总结

Google风格的API和目前的主流RESTful标准的API有很多相似点、也存在一定的区别。

我们没有必要去抠API风格的细节实现、一定要与Google风格完全一致。API接口是一个通用协议,不同团队有自己的理解,就像RESTful标准的细节实现都有差异。

作为对外协议,最重要的是可读性,每个人都可以根据实际项目情况,对接口风格做一些适配性调整。这里介绍Google风格,主要是为了扩展大家的视野、拥有更多的技术实现方式。

总结

通过这个版本,我们打通了API接口到MySQL数据库操作的全流程,是对整个框架的一次初步整合。接下来,我们会对这一流程进行精雕细琢,使其更具通用性和易用性。

相关实践学习
如何快速连接云数据库RDS MySQL
本场景介绍如何通过阿里云数据管理服务DMS快速连接云数据库RDS MySQL,然后进行数据表的CRUD操作。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助     相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
目录
相关文章
|
4天前
|
监控 Linux PHP
【02】客户端服务端C语言-go语言-web端PHP语言整合内容发布-优雅草网络设备监控系统-2月12日优雅草简化Centos stream8安装zabbix7教程-本搭建教程非docker搭建教程-优雅草solution
【02】客户端服务端C语言-go语言-web端PHP语言整合内容发布-优雅草网络设备监控系统-2月12日优雅草简化Centos stream8安装zabbix7教程-本搭建教程非docker搭建教程-优雅草solution
51 20
|
2天前
|
存储 监控 算法
探秘员工泄密行为防线:基于Go语言的布隆过滤器算法解析
在信息爆炸时代,员工泄密行为对企业构成重大威胁。本文聚焦布隆过滤器(Bloom Filter)这一高效数据结构,结合Go语言实现算法,帮助企业识别和预防泄密风险。通过构建正常操作“指纹库”,实时监测员工操作,快速筛查可疑行为。示例代码展示了如何利用布隆过滤器检测异常操作,并提出优化建议,如调整参数、结合日志分析系统等,全方位筑牢企业信息安全防线,守护核心竞争力。
|
10天前
|
Go C语言
Go语言入门:分支结构
本文介绍了Go语言中的条件语句,包括`if...else`、`if...else if`和`switch`结构,并通过多个练习详细解释了它们的用法。`if...else`用于简单的条件判断;`if...else if`处理多条件分支;`switch`则适用于基于不同值的选择逻辑。特别地,文章还介绍了`fallthrough`关键字,用于优化重复代码。通过实例如判断年龄、奇偶数、公交乘车及成绩等级等,帮助读者更好地理解和应用这些结构。
34 14
|
24天前
|
存储 监控 算法
内网监控系统之 Go 语言布隆过滤器算法深度剖析
在数字化时代,内网监控系统对企业和组织的信息安全至关重要。布隆过滤器(Bloom Filter)作为一种高效的数据结构,能够快速判断元素是否存在于集合中,适用于内网监控中的恶意IP和违规域名筛选。本文介绍其原理、优势及Go语言实现,提升系统性能与响应速度,保障信息安全。
28 5
|
1月前
|
算法 安全 Go
Go语言中的加密和解密是如何实现的?
Go语言通过标准库中的`crypto`包提供丰富的加密和解密功能,包括对称加密(如AES)、非对称加密(如RSA、ECDSA)及散列函数(如SHA256)。`encoding/base64`包则用于Base64编码与解码。开发者可根据需求选择合适的算法和密钥,使用这些包进行加密操作。示例代码展示了如何使用`crypto/aes`包实现对称加密。加密和解密操作涉及敏感数据处理,需格外注意安全性。
46 14
|
1月前
|
存储 安全 Go
Go语言中的map数据结构是如何实现的?
Go 语言中的 `map` 是基于哈希表实现的键值对数据结构,支持快速查找、插入和删除操作。其原理涉及哈希函数、桶(Bucket)、动态扩容和哈希冲突处理等关键机制,平均时间复杂度为 O(1)。为了确保线程安全,Go 提供了 `sync.Map` 类型,通过分段锁实现并发访问的安全性。示例代码展示了如何使用自定义结构体和切片模拟 `map` 功能,以及如何使用 `sync.Map` 进行线程安全的操作。
|
9天前
|
监控 关系型数据库 MySQL
【01】客户端服务端C语言-go语言-web端PHP语言整合内容发布-优雅草网络设备监控系统-硬件设备实时监控系统运营版发布-本产品基于企业级开源项目Zabbix深度二开-分步骤实现预计10篇合集-自营版
【01】客户端服务端C语言-go语言-web端PHP语言整合内容发布-优雅草网络设备监控系统-硬件设备实时监控系统运营版发布-本产品基于企业级开源项目Zabbix深度二开-分步骤实现预计10篇合集-自营版
19 0
|
2月前
|
存储 监控 算法
员工上网行为监控中的Go语言算法:布隆过滤器的应用
在信息化高速发展的时代,企业上网行为监管至关重要。布隆过滤器作为一种高效、节省空间的概率性数据结构,适用于大规模URL查询与匹配,是实现精准上网行为管理的理想选择。本文探讨了布隆过滤器的原理及其优缺点,并展示了如何使用Go语言实现该算法,以提升企业网络管理效率和安全性。尽管存在误报等局限性,但合理配置下,布隆过滤器为企业提供了经济有效的解决方案。
95 8
员工上网行为监控中的Go语言算法:布隆过滤器的应用
|
2月前
|
存储 Go 索引
go语言中数组和切片
go语言中数组和切片
48 7

热门文章

最新文章