浅谈go语言中的符文字符处理工具

本文涉及的产品
Serverless 应用引擎免费试用套餐包,4320000 CU,有效期3个月
应用实时监控服务-可观测链路OpenTelemetry版,每月50GB免费额度
注册配置 MSE Nacos/ZooKeeper,118元/月
简介: 【5月更文挑战第20天】本文简述了Go 1.20之后的rune符文处理工具和函数,`unsafe`包新增了SliceData、String和StringData函数,支持直接将slice转换为array,明确了数组和结构体比较顺序。

1 简介

go1.20 的unsafe包添加了功能SliceData、String和StringData 。

它们完成了独立于实现的切片和字符串操作的函数集,我们一探究竟。

question_ans.png

Go 的类型转换规则已扩展为允许 从 slice 直接转换为 array。

语言规范现在定义了比较数组元素和结构字段的确切顺序。
这阐明了在比较过程中出现恐慌时会发生什么。

func SliceData(slice []ArbitraryType) *ArbitraryType

具体如何实现的,无法得知。 我们可以从使用者角度看它的性能与之前的做法有何变化。

2 编码utf8内容

这里说的所谓符文,也就是 rune,在前文有提到过。

RuneError==unicode.ReplacementChar和 MaxRune==unicode.MaxRune在测试中得到了验证。
在本地定义它们可以避免这个包依赖于unicode包。

  • 编码基础。

    "错误 "符文或 "Unicode替换字符"

         RuneError = '\uFFFD'      
    

    RuneSelf以下的字符在一个字节中表示为它们自己。

     RuneSelf  = 0x80         
    

    最大的有效Unicode码位。

     MaxRune   = '\U0010FFFF'
    

    一个UTF-8编码的Unicode字符的最大字节数。

     UTFMax    = 4            
    

    以下代号范围内的代码点对UTF-8是无效的。

     surrogateMin = 0xD800
     surrogateMax = 0xDFFF
    

    默认的最低和最高延续字节。

     locb = 0b10000000
     hicb = 0b10111111
    

这些常量的名称是为了在下面的表格中提供良好的排列,下面的表格中。
第一个小数点是acceptRanges的索引,或F用于特殊的单字节情况。

特殊的一个字节的情况。第二个小数点是符文长度或特殊的单字节情况下的状态。

acceptRange给出了UTF-8中第二个字节的有效值范围,序列中第二个字节的有效值范围。

    var acceptRanges = [16]acceptRange{
        0: {locb, hicb},
        1: {0xA0, hicb},
        2: {locb, 0x9F},
        3: {0x90, hicb},
        4: {locb, 0x8F},
    }

3 FullRune返回参数

FullRune函数的返回值p中的字节是否以一个完整的UTF-8编码的符文开始。

一个无效的编码被认为是一个完整的符文,因为它将转换为一个宽度为1的错误符文 rune。

func FullRune(p []byte) bool {...}

实例:

    buf := []byte{228, 184, 150} // 世
    fmt.Println(utf8.FullRune(buf))
    fmt.Println(utf8.FullRune(buf[:2]))
    // Output:
    // true
    // false

4 对比FullRuneInString与FullRune函数

这两个函数类似,但FullRuneInString输入是一个字符串。

func FullRuneInString(s string) bool {...}

实例:

    str := "世"
    fmt.Println(utf8.FullRuneInString(str))
    fmt.Println(utf8.FullRuneInString(str[:2]))
    // Output:
    // true
    // false

5 DecodeRune 解压编码

解压参数p中的第一个UTF-8编码,并返回符文和它的宽度(字节)。

如果p是空的,则返回(RuneError, 0)。否则,如果编码是无效的,则返回(RuneError, 1)。
这两种情况都是不可能的正确的、非空的UTF-8的结果。

如果一个编码是不正确的UTF-8,或者编码的符文是编码但是超出了范围,或者不是最短的UTF-8编码。
那么编码是无效的。不进行其他验证。

下面的代码模拟了对x == xx的额外检查,并相应地处理ASCII和无效的情况。
这种掩码和或其他的方法可以防止出现额外的分支。

func DecodeRune(p []byte) (r rune, size int) {...}

实例:

    b := []byte("Hello, 世界")
    for len(b) > 0 {
        r, size := utf8.DecodeRune(b)
        fmt.Printf("%c %v\n", r, size)
        b = b[size:]
    }
    // Output:
    // H 1
    // e 1
    // l 1
    // l 1
    // o 1
    // , 1
    //   1
    // 世 3
    // 界 3

6 对比DecodeRuneInString与DecodeRune

两个函数类似,DecodeRuneInString其输入是一个字符串。

如果s是是空的,它会返回(RuneError, 0)。否则,如果编码是无效的,它会返回(RuneError, 1)。

对于正确的、非空的UTF-8来说,这两种结果都是不可能的。

如果一个编码是不正确的UTF-8,编码的符文是编码但是超出了范围,或者不是最短的UTF-8编码。
那么传入的编码是无效的。不进行其他验证。

func DecodeRuneInString(s string) (r rune, size int) {...}

    str := "Hello, 世界"
    for len(str) > 0 {
        r, size := utf8.DecodeRuneInString(str)
        fmt.Printf("%c %v\n", r, size)
        str = str[size:]
    }
    // Output:
    // H 1
    // e 1
    // l 1
    // l 1
    // o 1
    // , 1
    //   1
    // 世 3
    // 界 3

7 DecodeLastRune解压参数

该解码函数的p中的最后一个UTF-8编码并返回符文和其宽度(字节)。

如果参数p是空的,则返回(RuneError, 0)。

否则,如果参数p的编码是无效的,则返回(RuneError, 1)。

这两种情况都是不可能的,正确的、非空的UTF-8的结果。

如果一个编码是不正确的UTF-8,编码的符文是编码,但是超出了范围,或者不是最短的UTF-8编码。
那么编码是无效的。不进行其他验证。

func DecodeLastRune(p []byte) (r rune, size int) {...}

使用实例:

    b := []byte("Hello, 世界")

    for len(b) > 0 {
        r, size := utf8.DecodeLastRune(b)
        fmt.Printf("%c %v\n", r, size)

        b = b[:len(b)-size]
    }
    // Output:
    // 界 3
    // 世 3
    //   1
    // , 1
    // o 1
    // l 1
    // l 1
    // e 1
    // H 1

8 对比解码函数DecodeLastRuneInString与DecodeLastRune

它们类似,DecodeLastRuneInString输入是一个字符串。

如果s是空的,则返回(RuneError, 0)。
否则,如果编码是无效的,它返回(RuneError, 1)。

对于正确的非空的UTF-8来说,这两种结果都是不可能的。

如果一个编码是不正确的UTF-8,编码的符文是编码但是超出了范围,或者不是最短的UTF-8编码。
那么编码是无效的。不进行其他验证。

func DecodeLastRuneInString(s string) (r rune, size int) {...}

实例:

    str := "Hello, 世界"
    for len(str) > 0 {
        r, size := utf8.DecodeLastRuneInString(str)
        fmt.Printf("%c %v\n", r, size)
        str = str[:len(str)-size]
    }
    // Output:
    // 界 3
    // 世 3
    //   1
    // , 1
    // o 1
    // l 1
    // l 1
    // e 1
    // H 1

9 RuneLen返回对符文进行编码所需的字节数。

如果符文不是一个可以用UTF-8编码的有效值,则返回-1。

func RuneLen(r rune) int {...}

实例:

    fmt.Println(utf8.RuneLen('a'))
    fmt.Println(utf8.RuneLen('界'))
    // Output:
    // 1
    // 3

10 符文编码函数EncodeRune

将符文的UTF-8编码写进参数p(必须足够大

如果符文超出了范围,它就写出RuneError的编码,它返回写入的字节数。

func EncodeRune(p []byte, r rune) int {...}

实例: 正常使用

    r := '世'
    buf := make([]byte, 3)

    n := utf8.EncodeRune(buf, r)

    fmt.Println(buf)
    fmt.Println(n)
    // Output:
    // [228 184 150]
    // 3

实例:索引越界

    runes := []rune{
        // Less than 0, out of range.
        -1,
        // Greater than 0x10FFFF, out of range.
        0x110000,
        // The Unicode replacement character.
        utf8.RuneError,
    }
    for i, c := range runes {
        buf := make([]byte, 3)
        size := utf8.EncodeRune(buf, c)
        fmt.Printf("%d: %d %[2]s %d\n", i, buf, size)
    }
    // Output:
    // 0: [239 191 189] � 3
    // 1: [239 191 189] � 3
    // 2: [239 191 189] � 3

11 符文扩充函数AppendRune

符文扩充函数将r的UTF-8编码附加到p的末尾,并且返回扩展的缓冲区。

如果符文超出了范围。

它将附加RuneError的编码。

func AppendRune(p []byte, r rune) []byte {...}

实例:

    buf1 := utf8.AppendRune(nil, 0x10000)
    buf2 := utf8.AppendRune([]byte("init"), 0x10000)
    fmt.Println(string(buf1))
    fmt.Println(string(buf2))
    // Output:
    // 𐀀
    // init𐀀

12 符文计量RuneCount

符文计量函数RuneCount返回p中符文的数量。

错误的和短小的编码被视为宽度为1字节的单一符文。

func RuneCount(p []byte) int {...}

实例:
    buf := []byte("Hello, 世界")
    fmt.Println("bytes =", len(buf))
    fmt.Println("runes =", utf8.RuneCount(buf))
    // Output:
    // bytes = 13
    // runes = 9

13 对比符文计量函数RuneCountInString与RuneCount

RuneCountInString输入是一个字符串, 返回符文数量。

func RuneCountInString(s string) (n int) {...}

实例:

    str := "Hello, 世界"
    fmt.Println("bytes =", len(str))
    fmt.Println("runes =", utf8.RuneCountInString(str))
    // Output:
    // bytes = 13
    // runes = 9

14 符文首字符RuneStart

该函数RuneStart,报告该字节是否为编码后的第一个字节,可能是无效的符文。

第二个和随后的字节总是将前两个位设置为10。

func RuneStart(b byte) bool { return b&0xC0 != 0x80 }

实例:

    buf := []byte("a界")
    fmt.Println(utf8.RuneStart(buf[0]))
    fmt.Println(utf8.RuneStart(buf[1]))
    fmt.Println(utf8.RuneStart(buf[2]))
    // Output:
    // true
    // true
    // false

15 合法性检查函数Valid

报告参数p是否完全由有效的UTF-8编码的符文组成。

这种优化避免了在生成p[8:]的代码时重新计算容量的需要。

在生成p[8:]的代码时需要重新计算容量,使其与ValidString相媲美。

ValidString,后者在长ASCII字符串上快20%。

将两个32位的负载结合起来,可以使相同的代码用于32位和64位平台。

编译器可以为first32和second32生成一个32位的负载,在许多平台上。参见test/codegen/memcombine.go。

func Valid(p []byte) bool {...}

实例:

    valid := []byte("Hello, 世界")
    invalid := []byte{0xff, 0xfe, 0xfd}

    fmt.Println(utf8.Valid(valid))
    fmt.Println(utf8.Valid(invalid))
    // Output:
    // true
    // false

16 ValidString

符文字符检查函数ValidString报告s是否完全由有效的UTF-8编码的符文组成。

每次迭代检查并跳过8个字节的ASCII字符。

将两个32位的负载结合起来,可以使相同的代码用于用于32位和64位平台。

编译器可以为first32和second32生成一个32位的负载。

在许多平台上。参见test/codegen/memcombine.go。

func ValidString(s string) bool {...}

实例:

    valid := "Hello, 世界"
    invalid := string([]byte{0xff, 0xfe, 0xfd})

    fmt.Println(utf8.ValidString(valid))
    fmt.Println(utf8.ValidString(invalid))
    // Output:
    // true
    // false

17 编码合法性检查ValidRune

编码合法性检查函数报告r是否可以被合法地编码为UTF-8。

超出范围的代码点或代用半数是非法的。

func ValidRune(r rune) bool {...}

实例:

    valid := 'a'
    invalid := rune(0xfffffff)

    fmt.Println(utf8.ValidRune(valid))
    fmt.Println(utf8.ValidRune(invalid))
    // Output:
    // true
    // false
目录
相关文章
|
8天前
|
存储 JSON 监控
Viper,一个Go语言配置管理神器!
Viper 是一个功能强大的 Go 语言配置管理库,支持从多种来源读取配置,包括文件、环境变量、远程配置中心等。本文详细介绍了 Viper 的核心特性和使用方法,包括从本地 YAML 文件和 Consul 远程配置中心读取配置的示例。Viper 的多来源配置、动态配置和轻松集成特性使其成为管理复杂应用配置的理想选择。
28 2
|
6天前
|
Go 索引
go语言中的循环语句
【11月更文挑战第4天】
16 2
|
6天前
|
Go C++
go语言中的条件语句
【11月更文挑战第4天】
19 2
|
9天前
|
监控 Go API
Go语言在微服务架构中的应用实践
在微服务架构的浪潮中,Go语言以其简洁、高效和并发处理能力脱颖而出,成为构建微服务的理想选择。本文将探讨Go语言在微服务架构中的应用实践,包括Go语言的特性如何适应微服务架构的需求,以及在实际开发中如何利用Go语言的特性来提高服务的性能和可维护性。我们将通过一个具体的案例分析,展示Go语言在微服务开发中的优势,并讨论在实际应用中可能遇到的挑战和解决方案。
|
6天前
|
Go
go语言中的 跳转语句
【11月更文挑战第4天】
15 4
|
6天前
|
JSON 安全 Go
Go语言中使用JWT鉴权、Token刷新完整示例,拿去直接用!
本文介绍了如何在 Go 语言中使用 Gin 框架实现 JWT 用户认证和安全保护。JWT(JSON Web Token)是一种轻量、高效的认证与授权解决方案,特别适合微服务架构。文章详细讲解了 JWT 的基本概念、结构以及如何在 Gin 中生成、解析和刷新 JWT。通过示例代码,展示了如何在实际项目中应用 JWT,确保用户身份验证和数据安全。完整代码可在 GitHub 仓库中查看。
29 1
|
8天前
|
Go 调度 开发者
探索Go语言中的并发模式:goroutine与channel
在本文中,我们将深入探讨Go语言中的核心并发特性——goroutine和channel。不同于传统的并发模型,Go语言的并发机制以其简洁性和高效性著称。本文将通过实际代码示例,展示如何利用goroutine实现轻量级的并发执行,以及如何通过channel安全地在goroutine之间传递数据。摘要部分将概述这些概念,并提示读者本文将提供哪些具体的技术洞见。
|
JSON Go 数据格式
用Go语言编写一门工具的终极指南
我以前构建过一个工具,以让生活更轻松。这个工具被称为: gomodifytags ,它会根据字段名称自动填充结构体的标签字段。示例如下: (在 vim-go 中使用 gomodifytags 的一个用法示例) 使用这样的工具可以 轻松管理 结构体的多个字段。
8975 0
|
12天前
|
JavaScript Java Go
探索Go语言在微服务架构中的优势
在微服务架构的浪潮中,Go语言以其简洁、高效和并发处理能力脱颖而出。本文将深入探讨Go语言在构建微服务时的性能优势,包括其在内存管理、网络编程、并发模型以及工具链支持方面的特点。通过对比其他流行语言,我们将揭示Go语言如何成为微服务架构中的一股清流。
105 53
|
11天前
|
Ubuntu 编译器 Linux
go语言中SQLite3驱动安装
【11月更文挑战第2天】
35 7