1、字符集
- 计算机里1bit可以是0也可以是1
- 8bit组成1byte,全为0时表示数字0,全为1时表示数字255
- 2byte可以表示65536个数字,更多字节数可以表示更大的数字范围
- 字符如何表示呢?
- ASCII字符集:一共收录了128个字符,其扩展字符集也只有256个(包括英文字母、阿拉伯数字、西文字、控制字符)
- GB2312:包括了简体中文、拉丁字母、日文假名等等
- BIG5:包括了繁体字等
- unicode:于1990年开始研发,1994年正式公布,全球统一化字符编码
2、如何表示混合字符
- 比如"abc字母歌"这种字符如何存储呢?
- 如果直接用unicode字符集表示,如下图
func main() { //string转化为unicode编码切片 str := "hello,world世界" unicode := []rune(str) //打印unicode编码 fmt.Println(unicode) for _, v := range unicode { //打印二进制 fmt.Printf("%b\n", v) } }
- 问题来了
- 这么多二进制编码有长有短,你怎么知道哪个是哪个呢?
- 所以就会有字符边界划分的问题?
- 定长编码可以解决这个问题,但是确实有点浪费空间
- UTF-8编码:它它是一种变长编码,能有效地解决上述问题,可以根据字符大小范围指定字符边界
- 0-127之间的,占用1字节,以0标识在字节开头
- 128-2047之间的,占用2字节,以110和10标识在字节开头
- 2048-65535之间的,占用3字节,分别以1110、10、10标识在字节开头
- 以此类推,更多字节的开头都遵循这样的规则
3、Go语言string
- Go语言默认采用UTF-8编码
func main() { //string转化为unicode编码切片 str := "hello,world世界" //打印str的utf-8二进制编码 strSlice := []byte(str) for _, v := range strSlice { fmt.Printf("%b\n", v) } } /* 1101000 - h 1100101 - e 1101100 - l 1101100 - l 1101111 - o 101100 - , 1110111 - w 1101111 - o 1110010 - r 1101100 - l 1100100 - d 11100100 10111000 10010110 - 世 11100111 10010101 10001100 - 界 */
- Go语言中上述的 str 变量是什么样的结构呢?
- 对于string变量,Go语言认为它不可被修改,所以string变量会记录执行只读字符串的内存起始地址
- 如何找到字符内存地址的结尾地址呢?在C语言中,会在字符的结尾带上\0,但这样就不能写入\0本身这种字符了
- 为了要找到结尾标识,go语言会在变量后面标识只读字符的字节数
- string底层数据结构
type stringStruct struct { str unsafe.Pointer // 底层数组指针 len int // 字符串长度，可以通过 len(string) 返回 }
- 如何修改字符串内容呢?
- slice底层数据结构
type slice struct { array unsafe.Pointer // 底层数组指针，真正存放数据的地方 len int // 切片长度，通过 len(slice) 返回 cap int // 切片容量，通过 cap(slice) 返回 }
- 可以把字符串变量的值赋值给[]byte这样的切片,会给变量从新分配内存,并且会拷贝字符对应的utf-8编码到切片中
- 如何使用实现 []byte 和字符串之间的零拷贝转换?
func StringToBytes(str string) []byte { var b []byte // 切片的底层数组、len字段，指向字符串的底层数组，len字段 *(*string)(unsafe.Pointer(&b)) = str // 切片的 cap 字段赋值为 len(str)的长度，切片的指针、len 字段各占八个字节，直接偏移16个字节 *(*int)(unsafe.Pointer(uintptr(unsafe.Pointer(&b)) + 2*uintptr(8))) = len(str) return b } func BytesToString(data []byte) string { // 直接转换 return *(*string)(unsafe.Pointer(&data)) }
