浅谈Golang对象池sync.pool

简介: 浅谈Golang对象池sync.pool

前言

  1. sync.Pool的核心作用 - 读源码,缓存稍后会频繁使用的对象+减轻GC压力
  2. sync.Pool的Put与Get - Put的顺序为local private-> local shared,Get的顺序为 local private -> local shared -> remote shared ->victim -> New
  3. 思考sync.Pool应用的核心场景 - 高频使用且生命周期短的对象,且初始化始终一致,如fmt
  4. 探索Go1.13引入victim的作用 - 了解victim cache的机制


使用

package main
import (
  "fmt"
  "reflect"
  "sync"
)
func syncPool() {
  var sp = sync.Pool{
    // Tip: 声明对象池的New函数,这里以一个简单的int为例
    New: func() interface{} {
      return 100
    },
  }
  // Tip: 从对象池里获取一个对象
  data := sp.Get().(int)
  fmt.Println(data)
  // Tip: 往对象池里放回一个对象
  sp.Put(data)
  fmt.Println(reflect.ValueOf(sp))
}

源码

Get

//Get local private -> local shared -> remote shared ->victim -> New
func (p *Pool) Get() interface{} {
  x := l.private//先从local private拿
  l.private = nil
  if x == nil {
    x, _ = l.shared.popHead()//private没有的话从local shared拿
    if x == nil {
      x = p.getSlow(pid)//local没有就从remote shared拿,再没有就从victim拿,详情看下面函数代码
    }
  }
  if x == nil && p.New != nil {
    x = p.New()//都没有只能New一个了
  }
  return x
}
func (p *Pool) getSlow(pid int) interface{} {
  // See the comment in pin regarding ordering of the loads.
  size := runtime_LoadAcquintptr(&p.localSize) // load-acquire
  locals := p.local                            // load-consume
  //这里,从其他的process shared上面取
  // Try to steal one element from other procs.
  for i := 0; i < int(size); i++ {
    l := indexLocal(locals, (pid+i+1)%int(size))
    if x, _ := l.shared.popTail(); x != nil {
      return x
    }
  }
  // Try the victim cache. We do this after attempting to steal
  // from all primary caches because we want objects in the
  // victim cache to age out if at all possible.
  size = atomic.LoadUintptr(&p.victimSize)
  if uintptr(pid) >= size {
    return nil
  }
  locals = p.victim//没有的话从victim上拿
  return nil
}

Put

// Put adds x to the pool.
//local private-> local shared
func (p *Pool) Put(x interface{}) {
  if l.private == nil {
    l.private = x
    x = nil
  }
  if x != nil {
    l.shared.pushHead(x)
  }
}

理解

sync.pool


sync.pool是一个对象池,对象池的声明,核心是一个New

从对象池获取一个对象Get,把一个对象放入对象池Put

对象池的核心作用:缓存会频繁使用的对象,减轻GC压力

local对应的就是当前goroutine运行在GMP模型中的P,process

其他几个process就是remote

长生命周期没必要使用pool,思考GC相关的问题即可

New里面是没有任何传参的,如果想要每次New出来的东西都不一样的话,是不适合用pool的

victim


victim在poolCleanup的时候被赋值,而poolCLeanup在GC的时候被调用

先把victim和victimsize情空,再把local和localsize的数据全放过来,再把local和localsize的数据放过来

func poolCleanup() {
  // This function is called with the world stopped, at the beginning of a garbage collection.
  // It must not allocate and probably should not call any runtime functions.
  // Because the world is stopped, no pool user can be in a
  // pinned section (in effect, this has all Ps pinned).
  // Drop victim caches from all pools.
  for _, p := range oldPools {
    p.victim = nil
    p.victimSize = 0
  }
  // Move primary cache to victim cache.
  for _, p := range allPools {
    p.victim = p.local
    p.victimSize = p.localSize
    p.local = nil
    p.localSize = 0
  }
  // The pools with non-empty primary caches now have non-empty
  // victim caches and no pools have primary caches.
  oldPools, allPools = allPools, nil
}

在getslow的时候,victim被使用,locals=p.victim,综合来看victim地位相当于是脏数据,使用的频率是不会太高的,

引用这个victim给sync.pool带来了怎样的提升呢?最关键的还是在减轻GC的压力,本来是直接清空local,现在只需要把先移到victim上,对victim再慢慢操作,减少GC带来的抖动这些问题

目录
相关文章
|
5月前
|
存储 缓存 安全
Golang深入浅出之-Go语言中的并发安全容器:sync.Map与sync.Pool
Go语言中的`sync.Map`和`sync.Pool`是并发安全的容器。`sync.Map`提供并发安全的键值对存储,适合快速读取和少写入的情况。注意不要直接遍历Map,应使用`Range`方法。`sync.Pool`是对象池,用于缓存可重用对象,减少内存分配。使用时需注意对象生命周期管理和容量控制。在多goroutine环境下,这两个容器能提高性能和稳定性,但需根据场景谨慎使用,避免不当操作导致的问题。
167 7
|
存储 缓存 安全
Golang 语言临时对象池 - sync.Pool
Golang 语言临时对象池 - sync.Pool
50 0
|
1月前
|
Go
Golang语言之管道channel快速入门篇
这篇文章是关于Go语言中管道(channel)的快速入门教程,涵盖了管道的基本使用、有缓冲和无缓冲管道的区别、管道的关闭、遍历、协程和管道的协同工作、单向通道的使用以及select多路复用的详细案例和解释。
87 4
Golang语言之管道channel快速入门篇
|
1月前
|
Go
Golang语言文件操作快速入门篇
这篇文章是关于Go语言文件操作快速入门的教程,涵盖了文件的读取、写入、复制操作以及使用标准库中的ioutil、bufio、os等包进行文件操作的详细案例。
56 4
Golang语言文件操作快速入门篇
|
1月前
|
Go
Golang语言之gRPC程序设计示例
这篇文章是关于Golang语言使用gRPC进行程序设计的详细教程,涵盖了RPC协议的介绍、gRPC环境的搭建、Protocol Buffers的使用、gRPC服务的编写和通信示例。
76 3
Golang语言之gRPC程序设计示例
|
1月前
|
安全 Go
Golang语言goroutine协程并发安全及锁机制
这篇文章是关于Go语言中多协程操作同一数据问题、互斥锁Mutex和读写互斥锁RWMutex的详细介绍及使用案例,涵盖了如何使用这些同步原语来解决并发访问共享资源时的数据安全问题。
69 4
|
1月前
|
Go
Golang语言错误处理机制
这篇文章是关于Golang语言错误处理机制的教程,介绍了使用defer结合recover捕获错误、基于errors.New自定义错误以及使用panic抛出自定义错误的方法。
43 3
|
7天前
|
前端开发 中间件 Go
实践Golang语言N层应用架构
【10月更文挑战第2天】本文介绍了如何在Go语言中使用Gin框架实现N层体系结构,借鉴了J2EE平台的多层分布式应用程序模型。文章首先概述了N层体系结构的基本概念,接着详细列出了Go语言中对应的构件名称,包括前端框架(如Vue.js、React)、Gin的处理函数和中间件、依赖注入和配置管理、会话管理和ORM库(如gorm或ent)。最后,提供了具体的代码示例,展示了如何实现HTTP请求处理、会话管理和数据库操作。
21 0
|
1月前
|
Go 调度
Golang语言goroutine协程篇
这篇文章是关于Go语言goroutine协程的详细教程,涵盖了并发编程的常见术语、goroutine的创建和调度、使用sync.WaitGroup控制协程退出以及如何通过GOMAXPROCS设置程序并发时占用的CPU逻辑核心数。
41 4
Golang语言goroutine协程篇
|
1月前
|
Prometheus Cloud Native Go
Golang语言之Prometheus的日志模块使用案例
这篇文章是关于如何在Golang语言项目中使用Prometheus的日志模块的案例,包括源代码编写、编译和测试步骤。
35 3
Golang语言之Prometheus的日志模块使用案例