Go语言入门 - 工程实践|青训营笔记

简介: 上一节课程讲解了Go语言进阶的一些知识(并发、依赖管理、测试),以及带大家初探工程实践的流程,下面是笔记,以及课后实践的完成内容。

前言

上一节课程讲解了Go语言进阶的一些知识(并发、依赖管理、测试),以及带大家初探工程实践的流程,下面是笔记,以及课后实践的完成内容。

项目地址:https://github.com/Moonlight-Zhao/go-project-example/tree/V0

git clone之后在本地切换分支到v0,将对应当堂课程的代码(后续也可以git checkout -b 新分支名称,开辟新分支去完成自己的课后实践)

一、Go进阶

Go的并发(协程)

image-20220508145537106

详细代码参见go-project-exmple/concurrence/goroutine.go文件,注意主Go程sleep一秒的原因是五个子协程并发运行,脱离主Go程执行时间序列,当主Go程执行结束,5个打印协程可能并没有完成,从而被迫终止,因此主Go程这里主动等待 (打印结果是随机顺序出现的0~4序列)

协程的通信(channel)

image-20220508155408266

Go语言推荐使用channel实现Goroutine之间的通信(go协程之间可以访问同一个channel),上图构建了一个生产者-消费者模型。其中src是无缓冲channel,容量为1个int;dest是容量为3个int的有缓冲channel。对于channel来说,如果缓冲满了,则阻塞放入动作;如果缓冲空了,则阻塞取出动作。

这里的实现细节是后续的消费操作需要从dest中取出资源做处理,可能包含复杂业务操作,比较费时,而提供数据的生产者src则效率较高,因此将dest设置为缓冲空间为3的channel,使来不及消费的数据先存下来,使生产者不会耗费大量的时间在等待dest有剩余空间而阻塞。

WaitGroup

image-20220508152103021

详细代码参见go-project-exmple/concurrence/sync.go文件,例子给出两种实现并发安全计数的方式,一种是通过互斥锁锁住临界区(某一段被并发访问的代码,也就是锁住共享内存),一种是通过WaitGroup实例,Add申请计数器,Done对计数器-1,直到计数器为0,则Wait操作才会停止阻塞,放行

二、依赖管理

这部分简单说说,了解其演化过程和常用命令即可。

go path

在linux命令行工具中输入go env可以看到名为$GOPATH的环境变量的地址,在其基础上有以下三个路径,这种依赖的管理的问题就是所有项目的依赖包都在这个src里面,那么对于不同项目想要依赖一个包的不同版本就无法实现。

image-20220508153518525

不同项目依赖同一个src下包,无法实现不同项目依赖不同包版本

go vendor

核心是在项目目录下新增vendor文件夹,所有本项目的依赖包的副本都放在这个vendor中,如果vendor中没有,则再去go path的src目录下寻址依赖。

go module

go1.11自动开启,作为最新的依赖管理方式,它实现了不同项目可以依赖同一个依赖包的不同版本。其核心是三个部分:

  • 配置文件,描述依赖 — go.mod
  • 中心仓库管理依赖库 — Proxy(可以理解为从哪里去下载你需要的依赖包,可以配置不同的地址)
  • 本地工具 — go get/mod(操作go module的一些命令)

image-20220508154342392

这里给出的就是示例代码的go.mod文件,其require部分表明了当前项目依赖的包的名称和版本(indirect表示间接依赖),而第三方依赖包统一管理在$GOPATH/go/pkg/mod文件夹中,因为包含版本号,因此不会发生冲突。

三、测试

单元测试

  • 运行一下go-project-exmple/concurrence/goroutine.go的单元测试(-v表示打印详细信息),但是这个单元测试文件作者只是为了运行一下这个函数,并没有侧重于测试。

image-20220508155827825

  • 单元测试覆盖率,使用--cover参数,这里因为作者借助单元测试去实现运行函数的功能,而非测试的功能,所以就相当于跑了一遍函数,覆盖率自然是100% (就是你的代码逻辑都被测试到了)

image-20220508160111119

  • 单元测试编写规范:
  1. 一般覆盖率:50%~60%,较高80%+
  2. 测试分支相互独立、全面覆盖
  3. 测试单元粒度足够小、函数指责单一
  • 单元测试 - Mock(模拟数据)

Mock工具地址:https://github.com/bouk/monkey

如果有一些测试依赖外部数据,则可以通过mock提供自己的测试数据

image-20220508162054031

这里的Patch方法就是在本次单元测试中,用自定义的方法替换ReadFirstLine这个方法,然后Unpatch就是还原操作,你可以command+鼠标单击进入源码查看详细注释,它还有很多方法,不仅可以替换函数,也可以替换值等等。

基准测试

基准测试的目的是测试运行的性能,代码样例go-project-exmple/benchmark中给出了串行和并行两种情况下的基准测试(基于当前主机硬件)

下面进入该项目目录执行一下基准测试命令:

image-20220508163339948

三个结果对应三个函数,如第一个BenchmarkSelect()函数,其一秒钟执行次数84216435次,系统判断每执行一次耗时13.50纳秒,而第二个函数和第三个函数的区别在于Rand函数会获得全局锁,因此比FastRand获取随机值慢很多(推荐使用后者)

四、项目实战

需求设计

image-20220508115946947

image-20220508120039717

  • E-R图

image-20220508120221470

  • 分层结构

image-20220508120303616

编码与测试

详见项目文件

课后作业

需求

  • 发布帖子
  • 本地id生成需要保证不重复、唯一性
  • 新的帖子Append到文件末尾,更新索引,注意Map的并发安全性问题

设计

首先v0分支是基于内存的存储,因此本次课后实践依旧在此基础上进行,以v0分支为基础git check out -b homework出一个新的分支进行课后实践的开发工作,需要做的工作如下:

  1. 系统开始运行查询某个topic下的帖子列表:这个是已经提供的功能,需要注意的是topic和post数据是在系统启动的时候初始化的,查询某个topic的帖子就是直接从map中取出对应topic_id的post列表

image-20220510184402520

  1. 为某个topic发布帖子:

首先需要提供一个外部的接口,用于发布帖子,并且配套完成controller、service、repository层的编写

image-20220510184904510

下面给出repository的核心代码,需要注意的是考虑到并发发布帖子的情况,因此需要对文件的追加插入和对map的追加插入加上互斥锁

image-20220510185233709

  1. 不重启系统的情况下再次查询该topic的帖子列表需要更新:

因为postIndexMap[topic_id]对应着这个主题的所有帖子,但是数据是系统启动时去文件中读取的,在我们为文件追加一条post之后,并不会自动更新这个list,因此需要我们手动去追加帖子数据postIndexMap[topic_id]末尾,才能做到内存数据与文件数据的一致性保证,从而不重启系统,重新获取列表就能查询到最新的帖子列表

这里提到的文件追加和map追加都涉及到并发安全性的问题,这里使用了互斥锁,核心代码就是上面这张图

关于自增id这里因为可以保证临界区的互斥访问,因此采用计数累加的形式实现帖子id唯一性

结束语

关于课后的实践,这里用互斥锁确保了并发安全性(也可以通过channel串行化的方式实现),并且实现了内存和文件的数据一致性,如有问题欢迎讨论~

关注微信公众号【程序员白泽】,将同步青训营期间的笔记,平时也会发布一些自己的知识分享。

相关文章
|
1天前
|
安全 Java Go
探索Go语言在高并发环境中的优势
在当今的技术环境中,高并发处理能力成为评估编程语言性能的关键因素之一。Go语言(Golang),作为Google开发的一种编程语言,以其独特的并发处理模型和高效的性能赢得了广泛关注。本文将深入探讨Go语言在高并发环境中的优势,尤其是其goroutine和channel机制如何简化并发编程,提升系统的响应速度和稳定性。通过具体的案例分析和性能对比,本文揭示了Go语言在实际应用中的高效性,并为开发者在选择合适技术栈时提供参考。
|
4天前
|
运维 Kubernetes Go
"解锁K8s二开新姿势!client-go:你不可不知的Go语言神器,让Kubernetes集群管理如虎添翼,秒变运维大神!"
【8月更文挑战第14天】随着云原生技术的发展,Kubernetes (K8s) 成为容器编排的首选。client-go作为K8s的官方Go语言客户端库,通过封装RESTful API,使开发者能便捷地管理集群资源,如Pods和服务。本文介绍client-go基本概念、使用方法及自定义操作。涵盖ClientSet、DynamicClient等客户端实现,以及lister、informer等组件,通过示例展示如何列出集群中的所有Pods。client-go的强大功能助力高效开发和运维。
21 1
|
5天前
|
SQL 关系型数据库 MySQL
Go语言中使用 sqlx 来操作 MySQL
Go语言因其高效的性能和简洁的语法而受到开发者们的欢迎。在开发过程中,数据库操作不可或缺。虽然Go的标准库提供了`database/sql`包支持数据库操作,但使用起来稍显复杂。为此,`sqlx`应运而生,作为`database/sql`的扩展库,它简化了许多常见的数据库任务。本文介绍如何使用`sqlx`包操作MySQL数据库,包括安装所需的包、连接数据库、创建表、插入/查询/更新/删除数据等操作,并展示了如何利用命名参数来进一步简化代码。通过`sqlx`,开发者可以更加高效且简洁地完成数据库交互任务。
12 1
|
5天前
|
算法 NoSQL 中间件
go语言后端开发学习(六) ——基于雪花算法生成用户ID
本文介绍了分布式ID生成中的Snowflake(雪花)算法。为解决用户ID安全性与唯一性问题,Snowflake算法生成的ID具备全局唯一性、递增性、高可用性和高性能性等特点。64位ID由符号位(固定为0)、41位时间戳、10位标识位(含数据中心与机器ID)及12位序列号组成。面对ID重复风险,可通过预分配、动态或统一分配标识位解决。Go语言实现示例展示了如何使用第三方包`sonyflake`生成ID,确保不同节点产生的ID始终唯一。
go语言后端开发学习(六) ——基于雪花算法生成用户ID
|
6天前
|
JSON 缓存 监控
go语言后端开发学习(五)——如何在项目中使用Viper来配置环境
Viper 是一个强大的 Go 语言配置管理库,适用于各类应用,包括 Twelve-Factor Apps。相比仅支持 `.ini` 格式的 `go-ini`,Viper 支持更多配置格式如 JSON、TOML、YAML
go语言后端开发学习(五)——如何在项目中使用Viper来配置环境
|
2天前
|
NoSQL Go Redis
Go语言中如何扫描Redis中大量的key
在Redis中,遍历大量键时直接使用`KEYS`命令会导致性能瓶颈,因为它会一次性返回所有匹配的键,可能阻塞Redis并影响服务稳定性。为解决此问题,Redis提供了`SCAN`命令来分批迭代键,避免一次性加载过多数据。本文通过两个Go语言示例演示如何使用`SCAN`命令:第一个示例展示了基本的手动迭代方式;第二个示例则利用`Iterator`简化迭代过程。这两种方法均有效地避免了`KEYS`命令的性能问题,并提高了遍历Redis键的效率。
9 0
|
3天前
|
监控 Serverless Go
Golang 开发函数计算问题之Go 语言中切片扩容时需要拷贝原数组中的数据如何解决
Golang 开发函数计算问题之Go 语言中切片扩容时需要拷贝原数组中的数据如何解决
|
4天前
|
关系型数据库 MySQL 数据库连接
Go语言中使用sqlx来操作事务
在应用中,数据库事务保证操作的ACID特性至关重要。`github.com/jmoiron/sqlx`简化了数据库操作。首先安装SQLX和MySQL驱动:`go get github.com/jmoiron/sqlx`和`go get github.com/go-sql-driver/mysql`。导入所需的包后,创建数据库连接并使用`Beginx()`方法开始事务。通过`tx.Commit()`提交或`tx.Rollback()`回滚事务以确保数据一致性和完整性。
8 0
|
6天前
|
SQL 安全 关系型数据库
Go 语言中的 MySQL 事务操作
在现代应用中,确保数据完整与一致至关重要。MySQL的事务机制提供了可靠保障。本文首先解释了事务的概念及其ACID特性,随后介绍了如何在Go语言中使用`database/sql`包进行MySQL事务操作。通过一个银行转账的例子,演示了如何通过Go开启事务、执行操作并在必要时回滚或提交,确保数据一致性。最后,还讨论了不同事务隔离级别的含义及如何在Go中设置这些级别。通过本文的学习,开发者能更好地掌握MySQL事务的应用。
11 0
|
6天前
|
SQL 关系型数据库 MySQL
Go语言中进行MySQL预处理和SQL注入防护
在现代Web应用开发中,安全性至关重要。SQL注入是一种常见的攻击方式,攻击者可通过构造特殊SQL查询来非法访问或修改数据库数据。本文介绍如何利用Go语言中的预处理SQL语句来防范此类攻击。预处理不仅能提升安全性,还能提高性能并简化代码。通过使用`?`作为占位符,Go自动处理参数转义,有效避免SQL注入。此外,文章还提供了连接MySQL数据库、执行预处理查询以及最佳实践的示例代码。务必遵循这些指导原则,确保应用程序的安全性。
16 0