go 下面文件锁的处理

简介: ## file 类型无法取消 gc 时文件关闭的 Finalizer go 里创建一个 file 时,会默认设置一个 Finalizer,当这个 File 回收时触发,关闭文件 fd,防止 fd 泄露。 但是我们不能通过 runtime.SetFinalizer(file, nil) 取消 File fd 回收的逻辑。原因在于 File 创建的逻辑: ![image.png](http

file 类型无法取消 gc 时文件关闭的 Finalizer

go 里创建一个 file 时,会默认设置一个 Finalizer,当这个 File 回收时触发,关闭文件 fd,防止 fd 泄露。
但是我们不能通过 runtime.SetFinalizer(file, nil) 取消 File fd 回收的逻辑。原因在于 File 创建的逻辑:
image.png
go 标准库里, runtime.SetFinalizer(f.file, (*file).close) 把 Finalizer 设置在私有对象 File.file 上了,外层用户如果仅仅在 File 上取消 Finalizer,当 GC 开始时,f.file 仍然会调用 close 进行处理。
又由于 f.file 是私有类型,外层用户是不能进行 runtime.SetFinalizer(f.file, nil) 的,故无法取消 File 回收时触发,关闭文件 fd 的逻辑。

go1.12 的新逻辑

package main

import (
    "errors"
    "fmt"
    "os"
    "runtime"
    "syscall"
    "time"
)

func main() {
    r := runner{}
    if err := r.lock(); err != nil {
        fmt.Printf("%s\n", err)
        return
    }

    r.run()
}

func (r *runner) run() {
    fmt.Println("vim-go")
    for {
        fmt.Println("trigger")
        runtime.GC()
        time.Sleep(time.Second)
    }
}

type runner struct {
    f *os.File
}

func (r *runner) lock() error {
    f, err := LockUntilEx("/tmp/abc")
    r.f = f
    return err
}

func LockUntilEx(lockfile string) (*os.File, error) {
    var mode os.FileMode = 0777
    file, err := os.OpenFile(lockfile, os.O_WRONLY|os.O_TRUNC|os.O_CREATE, mode)
    if err != nil {
        return nil, errors.New(fmt.Sprintf("fail to open %s ,because %s", lockfile, err))
    }

    err = syscall.Flock(int(file.Fd()), syscall.LOCK_EX|syscall.LOCK_NB)
    if err != nil {
        return nil, errors.New(fmt.Sprintf("fail to lock %s, because %s", lockfile, err))
    }

    _, _, errno := syscall.RawSyscall(syscall.SYS_FCNTL, file.Fd(), syscall.F_SETFD, syscall.FD_CLOEXEC)
    if errno != 0 {
        return nil, errors.New(fmt.Sprintf("fail to set FD_CLOEXEC, for ", lockfile))
    }
    runtime.SetFinalizer(file, func(*os.File) { fmt.Println("gc") })
    return file, nil
}

在 go1.12 以前,这段代码产生的进程是可以一直持有锁的。
从 go1.12 开始,这段代码产生的进程在手动 GC 两次后就立马释放了文件锁。runner 对象在第一次 GC 时回收,runner.f 在第二次 GC 时回收。
具体可见 go1.12 release note 中编译器的改进

如何保证文件锁不会释放。

runtime.KeepAlive(f)

在进程不需要文件锁之前,必须要保证文件锁的 file 对象一直是 reachable。可以使用 runtime.KeepAlive。如:

func main() {
    r := runner{}
    if err := r.lock(); err != nil {
        fmt.Printf("%s\n", err)
        return
    }
    defer runtime.KeepAlive(r.f)

    r.run()
}
相关文章
|
20天前
|
存储 监控 算法
员工上网行为监控中的Go语言算法:布隆过滤器的应用
在信息化高速发展的时代,企业上网行为监管至关重要。布隆过滤器作为一种高效、节省空间的概率性数据结构,适用于大规模URL查询与匹配,是实现精准上网行为管理的理想选择。本文探讨了布隆过滤器的原理及其优缺点,并展示了如何使用Go语言实现该算法,以提升企业网络管理效率和安全性。尽管存在误报等局限性,但合理配置下,布隆过滤器为企业提供了经济有效的解决方案。
66 8
员工上网行为监控中的Go语言算法:布隆过滤器的应用
|
1月前
|
存储 Go 索引
go语言中数组和切片
go语言中数组和切片
43 7
|
1月前
|
Go 开发工具
百炼-千问模型通过openai接口构建assistant 等 go语言
由于阿里百炼平台通义千问大模型没有完善的go语言兼容openapi示例,并且官方答复assistant是不兼容openapi sdk的。 实际使用中发现是能够支持的,所以自己写了一个demo test示例,给大家做一个参考。
|
1月前
|
程序员 Go
go语言中结构体(Struct)
go语言中结构体(Struct)
106 71
|
1月前
|
存储 Go 索引
go语言中的数组(Array)
go语言中的数组(Array)
110 67
|
1天前
|
算法 安全 Go
Go语言中的加密和解密是如何实现的?
Go语言通过标准库中的`crypto`包提供丰富的加密和解密功能,包括对称加密(如AES)、非对称加密(如RSA、ECDSA)及散列函数(如SHA256)。`encoding/base64`包则用于Base64编码与解码。开发者可根据需求选择合适的算法和密钥,使用这些包进行加密操作。示例代码展示了如何使用`crypto/aes`包实现对称加密。加密和解密操作涉及敏感数据处理,需格外注意安全性。
24 14
|
1月前
|
Go 索引
go语言for遍历数组或切片
go语言for遍历数组或切片
107 62
|
1天前
|
Go 数据库
Go语言中的包(package)是如何组织的?
在Go语言中,包是代码组织和管理的基本单元,用于集合相关函数、类型和变量,便于复用和维护。包通过目录结构、文件命名、初始化函数(`init`)及导出规则来管理命名空间和依赖关系。合理的包组织能提高代码的可读性、可维护性和可复用性,减少耦合度。例如,`stringutils`包提供字符串处理函数,主程序导入使用这些函数,使代码结构清晰易懂。
24 11
|
1天前
|
存储 安全 Go
Go语言中的map数据结构是如何实现的?
Go 语言中的 `map` 是基于哈希表实现的键值对数据结构,支持快速查找、插入和删除操作。其原理涉及哈希函数、桶(Bucket)、动态扩容和哈希冲突处理等关键机制,平均时间复杂度为 O(1)。为了确保线程安全,Go 提供了 `sync.Map` 类型,通过分段锁实现并发访问的安全性。示例代码展示了如何使用自定义结构体和切片模拟 `map` 功能,以及如何使用 `sync.Map` 进行线程安全的操作。
|
5天前
|
监控 安全 算法
深度剖析核心科技:Go 语言赋能局域网管理监控软件进阶之旅
在局域网管理监控中,跳表作为一种高效的数据结构,能显著提升流量索引和查询效率。基于Go语言的跳表实现,通过随机化索引层生成、插入和搜索功能,在高并发场景下展现卓越性能。跳表将查询时间复杂度优化至O(log n),助力实时监控异常流量,保障网络安全与稳定。示例代码展示了其在实际应用中的精妙之处。
27 9