讲清楚Go字符串和utf8编码

83 阅读4分钟

unicode 字符集

unicode 字符集给世界上每个字符做了编码,每个字符对应一个码点(code pooint)。unicode字符集将所有的字符按平面划分,分为1个基础平面+16个补充平面,参考:unicode字符集

码点范围:

  • 基础平面:U+0000 - U+FFFF
  • 补充平面:U+10000 - U+10FFFF

注意:这里码点用16进制写法,每个16进制位等于4个二进制位,2个16进制位就等于1字节。

utf8

unicode码点不好被计算机直接存储,假如每个字符都按最长码点(U+10FFFF),用3字节存储,对基础平面的字符是极大的浪费,而我们日常用的最多的就是基础平面的字符。

出于这个原因,utf8被发明出来。utf8是一种编码方式,它规定每个unicode码点如何被编码。简单来说,它的规则很简单:

  1. 根据码点范围,决定需要的字节数
  2. 前缀+码点二进制

下面的表格具体展示了码点范围和对应的编码规则

分类范围Byte1Byte2Byte3Byte4
基本平面U+0000, U+007F0xxxxxxx
U+0080, U+07FF110xxxxx10xxxxxx
U+0800, U+FFFF1110xxxx10xxxxxx10xxxxxx
补充平面U+10000, U+10FFFF11110xxx10xxxxxx10xxxxxx10xxxxxx

1个基本平面的字符被细分成了三个范围,16个补充片面算一个范围,具体来说:

  • [U+0000,U+007F]: 这之间的码点,用1个字节编码,前缀是0,剩下的7位就是码点的二进制位
  • [U+0080,U+07FF]:这之间的码点,用2个字节表示,第一个字节前缀是110,第二个字节前缀是10,一二字节剩余的位置就是码点二进制位原样写进来
  • [U+0800, U+FFFF],[U+10000,U+10FFFF]: 以此类推

举个例子:

中文“世”的码点是:4E16

码点写成二进制:0100,1110,0001,0110

码点落在第3区间,utf8编码为:11100100,10111000,10010110

utf8编码用16进制表示:E4B896


中文“界”的码点是:754C

码点写成二进制:0111,0101,0100,1100

码点落在第3区间,utf8编码为:11100111,10010101,10001100

utf8编码用16进制表示:E7958C

Go 字符串

Go 中的字符串就是byte slice,Go 对于string literal采用utf8编码,每个byte存的就是utf8编码的结果。

word := "世界"
fmt.Printf("% x\n", word)  // output: e4 b8 96 e7 95 8c
fmt.Printf("% x\n", []byte(word)) // same output: e4 b8 96 e7 95 8c

要强调的是,string本身就是一个byte slice,没有任何特殊。只是 Go 在处理 string literal 时,默认将 utf8 编码存到这个byte slice中。除此以外,我们可以随意往里面插入字节,甚至是无法用utf8解析的字节。

utf8Bytes := []byte{0xe4, 0xb8, 0x96, 0xe7, 0x95, 0x8c}
fmt.Printf("%s\n", string(utf8Bytes)) // output: 世界

utf8Bytes = append(utf8Bytes, 0xff) // 插入一个不合法的utf8字节
fmt.Printf("%s\n", string(utf8Bytes)) // output: 世界�

在打印时,对于无法用 utf8 解析的字符,默认输出�,这叫replacement character。当渲染失败时,默认展示这个字符,它的码点是U+FFFD。

Go 字符

Go 中单个字符直接存储unicode码点,不经过utf8编码。一个很直观的例子

s := "世"
c := '世'
fmt.Printf("%x\n", s) // output: E4B896
fmt.Printf("%x\n", c) // output: 4E16

双引号“世”被当做字符串,存储 utf8 编码,单引号’世‘被当做单个字符,直接存储 unicode 码点。

Go 给 unicode 码点取了新名字: rune。从定义来看:type rune = int32runeint32完全等价。这也说明码点在Go中永远都是用4字节存储。

我们可以把 string 的每个utf8字符解码成码点(rune)输出。

world := "世界"
fmt.Printf("%x\n", []rune(world)) // output: [4e16 754c]