从2开始,在Go语言后端业务系统中引入缓存

本文涉及的产品
云数据库 Tair(兼容Redis),内存型 2GB
Redis 开源版,标准版 2GB
推荐场景:
搭建游戏排行榜
简介: 从2开始,在Go语言后端业务系统中引入缓存

本次我们接着上两篇文章进行讲解《从0开始,用Go语言搭建一个简单的后端业务系统》《从1开始,扩展Go语言后端业务系统的RPC功能》,如题,需求就是为了应对查询时的高qps,我们引入Redis缓存,让查询数据时不直接将请求发送到数据库,而是先通过一层缓存来抵挡qps,下面我们开始今天的分享:

1 逻辑设计

如图,本次缓存设计的逻辑就是在查询时首先查询缓存,如果查询不到则查询数据库(实际中不建议,会发生缓存穿透),在增删改时会先改数据库,再改缓存。

2 代码

2.1 项目结构

2.2 下载依赖
go get github.com/go-redis/redis/v8
2.3 具体代码和配置

配置:

package config
import (
   "fmt"
   "github.com/go-redis/redis/v8"
   "github.com/spf13/viper"
)
var RDB *redis.Client
func init() {
   var err error
   viper.SetConfigName("app")
   viper.SetConfigType("properties")
   viper.AddConfigPath("./")
   err = viper.ReadInConfig()
   if err != nil {
      panic(fmt.Errorf("Fatal error config file: %w \n", err))
   }
   if err := viper.ReadInConfig(); err != nil {
      if _, ok := err.(viper.ConfigFileNotFoundError); ok {
         fmt.Println("No file ...")
      } else {
         fmt.Println("Find file but have err ...")
      }
   }
   add := viper.GetString("redis.url")
   pwd := viper.GetString("redis.password")
   db := viper.GetInt("redis.db")
   RDB = redis.NewClient(&redis.Options{
      Addr:     add,
      Password: pwd,
      DB:       db,
   })
}

Cache层:

package cache
import (
   "context"
   "count_num/pkg/config"
   "count_num/pkg/entity"
   "encoding/json"
   "github.com/go-redis/redis/v8"
   "time"
)
type CountNumCacheDAOImpl struct {
   db *redis.Client
}
type CountNumCacheDAO interface {
   // set一个
   SetNumInfo(ctx context.Context, key string, info entity.NumInfo, t time.Duration) bool
   // 根据ID获取一个
   GetNumInfoById(ctx context.Context, key string) entity.NumInfo
}
func NewCountNumCacheDAOImpl() *CountNumCacheDAOImpl {
   return &CountNumCacheDAOImpl{db: config.RDB}
}
func (impl CountNumCacheDAOImpl) SetNumInfo(ctx context.Context, key string, info entity.NumInfo, t time.Duration) bool {
   res := impl.db.Set(ctx, key, info, t)
   result, _ := res.Result()
   if result != "OK" {
      return false
   }
   return true
}
func (impl CountNumCacheDAOImpl) GetNumInfoById(ctx context.Context, key string) entity.NumInfo {
   res := impl.db.Get(ctx, key)
   var info entity.NumInfo
   j := res.Val()
   json.Unmarshal([]byte(j), &info)
   return info
}

DAO层实现类:

package impl
import (
   "context"
   "count_num/pkg/cache"
   "count_num/pkg/config"
   "count_num/pkg/entity"
   "fmt"
   "gorm.io/gorm"
   "time"
)
var cacheTime = time.Second * 3600
type CountNumDAOImpl struct {
   db    *gorm.DB
   cache *cache.CountNumCacheDAOImpl
}
func NewCountNumDAOImpl() *CountNumDAOImpl {
   return &CountNumDAOImpl{db: config.DB, cache: cache.NewCountNumCacheDAOImpl()}
}
func (impl CountNumDAOImpl) AddNumInfo(ctx context.Context, info entity.NumInfo) bool {
   var in entity.NumInfo
   impl.db.First(&in, "info_key", info.InfoKey)
   if in.InfoKey == info.InfoKey { //去重
      return false
   }
   impl.db.Save(&info) //要使用指针,Id可以回显
   impl.cache.SetNumInfo(ctx, string(info.Id), info, cacheTime)
   return true
}
func (impl CountNumDAOImpl) GetNumInfoByKey(ctx context.Context, key string) entity.NumInfo {
   var info entity.NumInfo
   impl.db.First(&info, "info_key", key)
   return info
}
func (impl CountNumDAOImpl) FindAllNumInfo(ctx context.Context) []entity.NumInfo {
   var infos []entity.NumInfo
   impl.db.Find(&infos)
   return infos
}
func (impl CountNumDAOImpl) UpdateNumInfoByKey(ctx context.Context, info entity.NumInfo) bool {
   impl.db.Model(&entity.NumInfo{}).Where("info_key = ?", info.InfoKey).Update("info_num", info.InfoNum)
   return true
}
func (impl CountNumDAOImpl) DeleteNumInfoById(ctx context.Context, id int64) bool {
   impl.db.Delete(&entity.NumInfo{}, id)
   impl.cache.SetNumInfo(ctx, string(info.Id), "", cacheTime)
   return true
}
func (impl CountNumDAOImpl) GetNumInfoById(ctx context.Context, id int64) entity.NumInfo {
   var info entity.NumInfo
   numInfoById := impl.cache.GetNumInfoById(ctx, string(id))
   if numInfoById.InfoKey != "" {
      return numInfoById
   }
   impl.db.First(&info, "id", id)
   return info
}
func (impl CountNumDAOImpl) UpdateNumInfoById(ctx context.Context, info entity.NumInfo) bool {
   impl.db.Model(&entity.NumInfo{}).Where("id", info.Id).Updates(entity.NumInfo{Name: info.Name, InfoKey: info.InfoKey, InfoNum: info.InfoNum})
   impl.cache.SetNumInfo(ctx, string(info.Id), info, cacheTime)
   return true
}

实体类:

package entity
import "encoding/json"
type NumInfo struct {
   Id      int64  `json:"id"`
   Name    string `json:"name"`
   InfoKey string `json:"info_key"`
   InfoNum int64  `json:"info_num"`
}
func (stu NumInfo) TableName() string {
   return "num_info"
}
func (info NumInfo) MarshalJSON() ([]byte, error) {
   return json.Marshal(map[string]interface{}{
      "id":       info.Id,
      "name":     info.Name,
      "info_key": info.InfoKey,
      "info_num": info.InfoNum,
   })
}
//Redis类似序列化操作
func (info NumInfo) MarshalBinary() ([]byte, error) {
   return json.Marshal(info)
}
func (info NumInfo) UnmarshalBinary(data []byte) error {
   return json.Unmarshal(data, &info)
}

配置文件:

server.port=9888
server.rpc.port=6666
db.driver=mysql
db.url=127.0.0.1:3306
db.databases=test
db.username=root
db.password=12345
redis.url=127.0.0.1:6379
redis.db=1
redis.password=

3 遇见问题及解决

出现问题,根据提示我们大约能理解是Go语言中结构体类似序列化的问题:

解决—结构体实现接口:

//Redis类似序列化操作
func (info NumInfo) MarshalBinary() ([]byte, error) {
   return json.Marshal(info)
}
func (info NumInfo) UnmarshalBinary(data []byte) error {
   return json.Unmarshal(data, &info)
}

4 总结

引入Redis缓存是后端业务中应对高并发查询比较常见的一个做法,在软件工程学中有一句话叫做:计算机的所有问题都可以用加一层来解决。

在本次项目中可以说缓存设计的相对简单,针对Key的查询并没有增加缓存,当然也是为了方便演示。

今天的分享就到这里。

相关实践学习
基于Redis实现在线游戏积分排行榜
本场景将介绍如何基于Redis数据库实现在线游戏中的游戏玩家积分排行榜功能。
云数据库 Redis 版使用教程
云数据库Redis版是兼容Redis协议标准的、提供持久化的内存数据库服务,基于高可靠双机热备架构及可无缝扩展的集群架构,满足高读写性能场景及容量需弹性变配的业务需求。 产品详情:https://www.aliyun.com/product/kvstore     ------------------------------------------------------------------------- 阿里云数据库体验:数据库上云实战 开发者云会免费提供一台带自建MySQL的源数据库 ECS 实例和一台目标数据库 RDS实例。跟着指引,您可以一步步实现将ECS自建数据库迁移到目标数据库RDS。 点击下方链接,领取免费ECS&RDS资源,30分钟完成数据库上云实战!https://developer.aliyun.com/adc/scenario/51eefbd1894e42f6bb9acacadd3f9121?spm=a2c6h.13788135.J_3257954370.9.4ba85f24utseFl
相关文章
|
1月前
|
Rust JavaScript Java
后端使用的语言是什么?
【10月更文挑战第12天】后端使用的语言是什么?
58 14
|
1月前
|
JavaScript Java Go
后端语言
【10月更文挑战第12天】后端语言
23 5
|
1月前
|
存储 Go 文件存储
M.2移动硬盘打造Win To Go系统:高效分区存储文件全攻略
【10月更文挑战第12天】本文详细介绍了如何使用M.2移动硬盘制作Win To Go系统。首先,需准备合适容量与接口类型的M.2硬盘及硬盘盒,并获取Windows镜像文件和分区工具。接着,通过Rufus软件将镜像写入硬盘。文中还提供了分区策略,包括系统分区(约80-120GB)、软件分区(根据需求设定)和数据分区(剩余空间),并指导如何使用DiskGenius或Windows自带工具进行分区。最后,强调了对各分区文件的有效管理和定期备份的重要性。
|
1月前
|
存储 固态存储 Go
M.2移动硬盘打造Win To Go系统:高效分区存储文件全攻略
【10月更文挑战第11天】Win To Go 是一种将 Windows 系统安装在 M.2 移动硬盘上的技术,便于用户携带自定义系统跨设备使用。需准备高性能 M.2 硬盘及合适硬盘盒,并使用 DiskGenius 或 Rufus 进行分区与系统安装。系统分区用于安装 Windows,其余分区可根据需求存储工作或娱乐文件,便于管理和备份。
139 2
|
1月前
|
存储 缓存 NoSQL
深入理解后端缓存机制的重要性与实践
本文将探讨在后端开发中缓存机制的应用及其重要性。缓存,作为提高系统性能和用户体验的关键技术,对于后端开发来说至关重要。通过减少数据库访问次数和缩短响应时间,缓存可以显著提升应用程序的性能。本文将从缓存的基本概念入手,介绍常见的缓存策略和实现方式,并通过实例展示如何在后端开发中有效应用缓存技术。最后,我们将讨论缓存带来的一些挑战及其解决方案,帮助您在实际项目中更好地利用缓存机制。
|
1月前
|
Java Go 云计算
Go语言在云计算和高并发系统中的卓越表现
【10月更文挑战第10天】Go语言在云计算和高并发系统中的卓越表现
|
2月前
|
机器学习/深度学习 缓存 NoSQL
深度学习在图像识别中的应用与挑战后端开发中的数据缓存策略
本文深入探讨了深度学习技术在图像识别领域的应用,包括卷积神经网络(CNN)的原理、常见模型如ResNet和VGG的介绍,以及这些模型在实际应用中的表现。同时,文章也讨论了数据增强、模型集成等改进性能的方法,并指出了当前面临的计算资源需求高、数据隐私等挑战。通过综合分析,本文旨在为深度学习在图像识别中的进一步研究和应用提供参考。 本文探讨了后端开发中数据缓存的重要性和实现方法,通过具体案例解析Redis在实际应用中的使用。首先介绍了缓存的基本概念及其在后端系统性能优化中的作用;接着详细讲解了Redis的常见数据类型和应用场景;最后通过一个实际项目展示了如何在Django框架中集成Redis,
|
3月前
|
关系型数据库 MySQL API
我用 go-zero 一周实现了一个中台系统
我用 go-zero 一周实现了一个中台系统
|
3月前
|
Go 开发者
|
3月前
|
存储 编译器 Go

热门文章

最新文章

下一篇
无影云桌面