Golang拼接字符串性能对比

简介: 【2月更文挑战第8天】Golang拼接字符串性能对比

$golang$的$string$类型是不可修改的,对于拼接字符串来说,本质上还是创建一个新的对象将数据放进去。主要有以下几种拼接方式

拼接方式介绍

1.使用$string$自带的运算符$+$

ans = ans + s

2. 使用格式化输出$fmt.Sprintf$

ans = fmt.Sprintf("%s%s", ans, s)

3. 使用$strings$的$join$函数

一般适用于将字符串数组转化为特定间隔符的字符串的情况

ans=strings.join(strs,",")

4. 使用$strings.Builder$

builder := strings.Builder{
   
   }
builder.WriteString(s)
return builder.String()

5. 使用$bytes.Buffer$

buffer := new(bytes.Buffer)
buffer.WriteString(s)
return buffer.String()

6. 使用$[]byte$,并且提前设置容量

ans := make([]byte, 0, len(s)*n)
ans = append(ans, s...)

性能对比

先写一个随机生成长度为$n$的字符串的函数

func getRandomString(n int) string {
   
   
    var tmp = "abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ"
    ans := make([]uint8, 0, n)
    for i := 0; i < n; i++ {
   
   
        ans = append(ans, tmp[rand.Intn(len(tmp))])
    }
    return string(ans)
}

接下来分别写出上述拼接方式的实现,假设每次都拼接n次字符串s后返回。

1.使用$string$自带的运算符$+$

循环$n$次,每次都令答案字符串$ans+$源字符串$s$

func plusOperatorJoin(n int, s string) string {
   
   
    var ans string
    for i := 0; i < n; i++ {
   
   
        ans = ans + s
    }
    return ans
}

2. 使用格式化输出$fmt.Sprintf$

循环$n$次,使用$fmt.Sprintf$达到拼接的目的

func sprintfJoin(n int, s string) string {
   
   
    var ans string
    for i := 0; i < n; i++ {
   
   
        ans = fmt.Sprintf("%s%s", ans, s)
    }
    return ans
}

3. 使用$strings$的$join$函数

拼接同一个字符串的话不适合用$join$函数,所以跳过这种方式

4. 使用$strings.Builder$

初始化$strings.Builder$,循环$n$次,每次调用$WriteString$方法

func stringBuilderJoin(n int, s string) string {
   
   
    builder := strings.Builder{
   
   }
    for i := 0; i < n; i++ {
   
   
        builder.WriteString(s)
    }
    return builder.String()
}

5. 使用$bytes.Buffer$

初始化$bytes.Buffer$,循环$n$次,每次调用$WriteString$方法

func bytesBufferJoin(n int, s string) string {
   
   
    buffer := new(bytes.Buffer)
    for i := 0; i < n; i++ {
   
   
        buffer.WriteString(s)
    }
    return buffer.String()
}

6. 使用$[]byte$,并且提前设置容量

定义$ans$为$byte$数组,并提前设置容量为$len(s)*n$

func bytesJoin(n int, s string) string {
   
   
    ans := make([]byte, 0, len(s)*n)
    for i := 0; i < n; i++ {
   
   
        ans = append(ans, s...)
    }
    return string(ans)
}

测试代码

先随机生成一个长度为10的字符串,然后拼接10000次。

package high_strings

import "testing"

func benchmark(b *testing.B, f func(int, string) string) {
   
   
    var str = getRandomString(10)
    for i := 0; i < b.N; i++ {
   
   
        f(10000, str)
    }
}

func BenchmarkPlusOperatorJoin(b *testing.B) {
   
   
    benchmark(b, plusOperatorJoin)
}
func BenchmarkSprintfJoin(b *testing.B) {
   
   
    benchmark(b, sprintfJoin)
}
func BenchmarkStringBuilderJoin(b *testing.B) {
   
   
    benchmark(b, stringBuilderJoin)
}
func BenchmarkBytesBufferJoin(b *testing.B) {
   
   
    benchmark(b, bytesBufferJoin)
}
func BenchmarkBytesJoin(b *testing.B) {
   
   
    benchmark(b, bytesJoin)
}

在这里插入图片描述

测试结果:

使用$[]byte$ > $strings.Builder$ >= $bytes.Buffer$ > $fmt.Sprintf$ > $+$运算符

源码分析

1.使用$string$自带的运算符$+$

代码在runtime\string.go


// concatstrings implements a Go string concatenation x+y+z+...
// The operands are passed in the slice a.
// If buf != nil, the compiler has determined that the result does not
// escape the calling function, so the string data can be stored in buf
// if small enough.
func concatstrings(buf *tmpBuf, a []string) string {
   
   
    idx := 0
    l := 0
    count := 0
    for i, x := range a {
   
   
        n := len(x)
        if n == 0 {
   
   
            continue
        }
        if l+n < l {
   
   
            throw("string concatenation too long")
        }
        l += n
        count++
        idx = i
    }
    if count == 0 {
   
   
        return ""
    }

    // If there is just one string and either it is not on the stack
    // or our result does not escape the calling frame (buf != nil),
    // then we can return that string directly.
    if count == 1 && (buf != nil || !stringDataOnStack(a[idx])) {
   
   
        return a[idx]
    }
    s, b := rawstringtmp(buf, l)
    for _, x := range a {
   
   
        copy(b, x)
        b = b[len(x):]
    }
    return s
}
  • 首先计算拼接后的字符串长度
  • 如果只有一个字符串并且不在栈上就直接返回
  • 如果$buf$不为空并且$buf$可以放下这些字符串,就把拼接后的字符串放在$buf$里,否则在堆上重新申请一块内存
func rawstringtmp(buf *tmpBuf, l int) (s string, b []byte) {
   
   
    if buf != nil && l <= len(buf) {
   
   
        b = buf[:l]
        s = slicebytetostringtmp(&b[0], len(b))
    } else {
   
   
        s, b = rawstring(l)
    }
    return
}
// rawstring allocates storage for a new string. The returned
// string and byte slice both refer to the same storage.
// The storage is not zeroed. Callers should use
// b to set the string contents and then drop b.
func rawstring(size int) (s string, b []byte) {
   
   
    p := mallocgc(uintptr(size), nil, false)
    return unsafe.String((*byte)(p), size), unsafe.Slice((*byte)(p), size)
}
  • 然后遍历数组,将字符串$copy$过去

    2. 使用$strings.Builder$

    介绍:$strings.Builder$用于使用$Write$方法高效地生成字符串,它最大限度地减少了内存复制
    拼接过程:$builder$里有一个$byte$类型的切片,每次调用$WriteString$的时候,是直接往该切片里追加字符串。因为切片底层的扩容机制是以倍数申请的,所以对比1而言,2的内存消耗要更少。
    结果返回:在返回字符串的$String$方法里,是将$buf$数组转化为字符串直接返回的。
    扩容机制: 想要缓冲区容量增加$n$个字节,扩容后容量变为$2len+n$
    ```go
    // A Builder is used to efficiently build a string using Write methods.
    // It minimizes memory copying. The zero value is ready to use.
    // Do not copy a non-zero Builder.
    type Builder struct {
    addr
    Builder // of receiver, to detect copies by value
    buf []byte
    }

// String returns the accumulated string.
func (b *Builder) String() string {
return unsafe.String(unsafe.SliceData(b.buf), len(b.buf))
}

// grow copies the buffer to a new, larger buffer so that there are at least n
// bytes of capacity beyond len(b.buf).
func (b Builder) grow(n int) {
buf := make([]byte, len(b.buf), 2
cap(b.buf)+n)
copy(buf, b.buf)
b.buf = buf
}
// WriteString appends the contents of s to b's buffer.
// It returns the length of s and a nil error.
func (b *Builder) WriteString(s string) (int, error) {
b.copyCheck()
b.buf = append(b.buf, s...)
return len(s), nil
}


## 3. 使用$bytes.Buffer$
**介绍**:$bytes.Buffer$跟$strings.Builder$的底层都是$byte$数组,区别在于扩容机制和返回字符串的$String$方法。
**结果返回:** 因为$bytes.Buffer$实际上是一个流式的字节缓冲区,可以向尾部写入数据,也可以读取头部的数据。所以在返回字符串的$String$方法里,只返回了缓冲区里**未读的部分**,所以需要重新申请内存来存放返回的结果。内存会比$strings.Builder$稍慢一些。
**扩容机制:** 想要缓冲区容量至少增加$n$个字节,$m$是未读的长度,$c$是当前的容量。
优化点在于如果$n <= c/2-m$,也就是当前容量的一半都大于等于现有的内容(未读的字节数)加上所需要增加的字节数,就复用当前的数组,把未读的内容拷贝到头部去。

>  We can slide things down instead of allocating a new slice. We only need m+n <= c to slide, but we instead let capacity get twice as large so we don't spend all our time copying.
> 我们可以向下滑动,而不是分配一个新的切片。我们只需要m+n<=c来滑动,但我们让容量增加了一倍,这样我们就不会把所有的时间都花在复制上。

否则的话也是$2*len+n$的扩张
```go
// A Buffer is a variable-sized buffer of bytes with Read and Write methods.
// The zero value for Buffer is an empty buffer ready to use.
type Buffer struct {
    buf      []byte // contents are the bytes buf[off : len(buf)]
    off      int    // read at &buf[off], write at &buf[len(buf)]
    lastRead readOp // last read operation, so that Unread* can work correctly.
}
// String returns the contents of the unread portion of the buffer
// as a string. If the Buffer is a nil pointer, it returns "<nil>".
//
// To build strings more efficiently, see the strings.Builder type.
func (b *Buffer) String() string {
    if b == nil {
        // Special case, useful in debugging.
        return "<nil>"
    }
    return string(b.buf[b.off:])
}
// WriteString appends the contents of s to the buffer, growing the buffer as
// needed. The return value n is the length of s; err is always nil. If the
// buffer becomes too large, WriteString will panic with ErrTooLarge.
func (b *Buffer) WriteString(s string) (n int, err error) {
    b.lastRead = opInvalid
    m, ok := b.tryGrowByReslice(len(s))
    if !ok {
        m = b.grow(len(s))
    }
    return copy(b.buf[m:], s), nil
}

// grow grows the buffer to guarantee space for n more bytes.
// It returns the index where bytes should be written.
// If the buffer can't grow it will panic with ErrTooLarge.
func (b *Buffer) grow(n int) int {
    m := b.Len()
    // If buffer is empty, reset to recover space.
    if m == 0 && b.off != 0 {
        b.Reset()
    }
    // Try to grow by means of a reslice.
    if i, ok := b.tryGrowByReslice(n); ok {
        return i
    }
    if b.buf == nil && n <= smallBufferSize {
        b.buf = make([]byte, n, smallBufferSize)
        return 0
    }
    c := cap(b.buf)
    if n <= c/2-m {
        // We can slide things down instead of allocating a new
        // slice. We only need m+n <= c to slide, but
        // we instead let capacity get twice as large so we
        // don't spend all our time copying.
        copy(b.buf, b.buf[b.off:])
    } else if c > maxInt-c-n {
        panic(ErrTooLarge)
    } else {
        // Add b.off to account for b.buf[:b.off] being sliced off the front.
        b.buf = growSlice(b.buf[b.off:], b.off+n)
    }
    // Restore b.off and len(b.buf).
    b.off = 0
    b.buf = b.buf[:m+n]
    return m
}

字符串拼接性能及原理
GoLang bytes.Buffer基础使用方法详解

目录
相关文章
|
21天前
|
JSON Go 数据格式
Golang 对象深拷贝的方案以及性能比较
文章探讨了在Go语言中实现对象深拷贝的三种方法:使用gob序列化、JSON序列化和定制化拷贝,并对比了它们在性能和代码复杂度方面的优劣,建议根据具体需求选择最适合的方法。
28 0
|
15天前
|
Go
Golang语言基本数据类型默认值及字符串之间互相转换案例
这篇文章讲解了Golang语言中基本数据类型的默认值、类型转换的概述以及整型、浮点型、字符串之间的相互转换案例,包括如何将基本数据类型转换为字符串类型和字符串类型转换为基本数据类型,以及字符串与字节切片之间的转换。
12 2
|
15天前
|
Go
Golang语言基础数据类型之字符串常用的操作
这篇文章介绍了Golang语言中字符串的定义、常用操作,包括字符串长度查看、遍历、类型转换、子串统计、比较、查找位置、替换、切割、大小写转换、剔除字符、前缀后缀判断、拼接、子串包含判断以及字符串join操作,同时提供了官方文档的查看方法。
12 1
|
1月前
|
人工智能 缓存 安全
Golang 搭建 WebSocket 应用(七) - 性能、可用性
Golang 搭建 WebSocket 应用(七) - 性能、可用性
34 1
|
1月前
|
Go
[golang]字符串拼接
[golang]字符串拼接
|
1月前
|
存储 程序员 编译器
Golang 中的字符串:常见错误和最佳实践
Golang 中的字符串:常见错误和最佳实践
|
18天前
|
监控 Java 测试技术
|
19天前
|
Go 开发者
|
1月前
|
测试技术 Go
在Golang中优化你的代码以提高性能的5个技巧
在Golang中优化你的代码以提高性能的5个技巧
|
23天前
|
JSON Go 数据格式
Golang 对象深拷贝的方案以及性能比较
文章讨论了Golang中实现对象深拷贝的三种方案:gob序列化反序列化、json序列化反序列化和定制化拷贝,并进行了性能比较,结论是在性能要求高时推荐使用定制化拷贝,性能要求不高时可以使用gob方法,而json方法在性能和代码复杂度之间提供了一个折中方案。
80 0