你不知道的JS 编码

·  阅读 455

今天后端大哥说不支持XX系统不支持生僻字,所以需要前端拦截一下。

所以,就需要查找到输入字符中的生僻字,那该如何查找呢,就涉及到了js 的字符编码问题。

首先,我们抛出几个名词,ASCII 码,Unicode,UTF-8,那他们各自产生的背景是什么,又有什么关联呢?

ASCII 码

大家可能更熟悉 的是ASCII 码。上个世纪60年代,美国制定了一套字符编码,对英语字符与二进制位之间的关系,做了统一规定。这被称为 ASCII 码,一直沿用至今。

ASCII 码一共规定了128个字符的编码,比如空格SPACE是32(二进制00100000),大写的字母A是65(二进制01000001)。这128个符号(包括32个不能打印出来的控制符号),只占用了一个字节的后面7位,最前面的一位统一规定为0

所以问题就来了,英语用128个符号编码就够了,但是用来表示其他语言,128个符号是不够的。于是,一些欧洲国家就决定,利用字节中闲置的最高位编入新的符号。

但是,这里又出现了新的问题。不同的国家有不同的字母,因此,128--255的这一段 相同的二进制位代表的字母却不一样。

至于亚洲国家的文字,使用的符号就更多了,汉字就多达10万左右。

Unicode

要想能够展示所有国家的文字和符号,前提是要有一个统一的字符集,Unicode 就是一个囊括了世界上所有字符的字符集

它从0开始,为每个符号指定一个编号,这叫做"码点"(code point)。

U+0000 = null
U+597D = 好
复制代码

U+表示紧跟在后面的十六进制数是Unicode的码点

这么多符号,Unicode不是一次性定义的,而是分区定义。每个区可以存放65536个(2^16)字符,称为一个平面(plane)。目前,一共有17个(2^5)平面,也就是说,整个Unicode字符集的大小现在是2^21。

最前面的65536个字符位,称为基本平面(缩写BMP),它的码点范围是从0一直到2^16-1,写成16进制就是从U+0000到U+FFFF。所有最常见的字符都放在这个平面,这是Unicode最先定义和公布的一个平面。

剩下的字符都放在辅助平面(缩写SMP),码点范围从U+010000一直到U+10FFFF。

Unicode只规定了每个字符的码点,到底用什么样的字节序表示这个码点,就涉及到如何编码。

UTF-32、UTF-16 与UTF-8

UTF-32是指用四个字节来表示一个码点,字节内容一一对应码点。

U+0000 = 0x0000 0000
U+597D = 0x0000 597D
复制代码

UTF-32的优点在于,转换规则简单直观,查找效率高。缺点在于浪费空间,同样内容的英语文本,它会比ASCII编码大四倍。HTML 5标准明文规定,网页不得编码成UTF-32。

人们真正需要的是一种节省空间的编码方法,这导致了UTF-8的诞生。UTF-8是一种变长的编码方法,字符长度从1个字节到4个字节不等。越是常用的字符,字节越短,最前面的128个字符,只使用1个字节表示,与ASCII码完全相同。

UTF-8 的编码规则很简单,只有二条:

1)对于单字节的符号,字节的第一位设为0,后面7位为这个符号的 Unicode 码。因此对于英语字母,UTF-8 编码和 ASCII 码是相同的。

2)对于n字节的符号(n > 1),第一个字节的前n位都设为1,第n + 1位设为0,后面字节的前两位一律设为10。剩下的没有提及的二进制位,全部为这个符号的 Unicode 码。

下表总结了编码规则,字母x表示可用编码的位。

Unicode符号范围      |        UTF-8编码方式
(十六进制)           |              (二进制)
----------------------+---------------------------------------------
0000 0000-0000 007F | 0xxxxxxx
0000 0080-0000 07FF | 110xxxxx 10xxxxxx
0000 0800-0000 FFFF | 1110xxxx 10xxxxxx 10xxxxxx
0001 0000-0010 FFFF | 11110xxx 10xxxxxx 10xxxxxx 10xxxxxx
复制代码

UTF-16

UTF-16编码方式介于UTF-32与UTF-8之间,同时结合了定长和变长两种编码方法的特点。

它的编码规则也很简单:

  • 基本平面的字符占用2个字节
  • 辅助平面的字符占用4个字节

也就是说,UTF-16的编码长度要么是2个字节(U+0000到U+FFFF),要么是4个字节(U+010000到U+10FFFF)

于是就有一个问题,当我们遇到两个字节,怎么看出它本身是一个字符,还是需要跟其他两个字节放在一起解读?

说来很巧妙,我也不知道是不是故意的设计,在基本平面内,从U+D800到U+DFFF是一个空段,即这些码点不对应任何字符。因此,这个空段可以用来映射辅助平面的字符。

具体来说,辅助平面的字符位共有2^20个,也就是说,对应这些字符至少需要20个二进制位。UTF-16将这20位拆成两半,前10位映射在U+D800到U+DBFF(空间大小210),称为高位(H),后10位映射在U+DC00到U+DFFF(空间大小210),称为低位(L)。这意味着,一个辅助平面的字符,被拆成两个基本平面的字符表示。

所以,当我们遇到两个字节,发现它的码点在U+D800到U+DBFF之间,就可以断定,紧跟在后面的两个字节的码点,应该在U+DC00到U+DFFF之间,这四个字节必须放在一起解读。

JavaScript使用哪一种编码方式?

首先,可以明确的是,JavaScript语言采用Unicode字符集,他只支持一种编码方法。

这种编码既不是UTF-16,也不是UTF-8,更不是UTF-32。上面那些编码方法,JavaScript都不用。

JavaScript用的是UCS-2

UCS 是与Unicode团队有着同一目标的但是起初又不相互知道的一个团队,等到他们发现了对方的存在,很快就达成一致:世界上不需要两套统一字符集。

1991年10月,两个团队决定合并字符集。也就是说,从今以后只发布一套字符集,就是Unicode,并且修订此前发布的字符集,UCS的码点将与Unicode完全一致。

UCS的开发进度快于Unicode,1990年就公布了第一套编码方法UCS-2,使用2个字节表示已经有码点的字符。(那个时候只有一个平面,就是基本平面,所以2个字节就够用了。)UTF-16编码迟至1996年7月才公布,明确宣布是UCS-2的超集,即基本平面字符沿用UCS-2编码,辅助平面字符定义了4个字节的表示方法。

两者的关系简单说,就是UTF-16取代了UCS-2,或者说UCS-2整合进了UTF-16。 所以,现在只有UTF-16,没有UCS-2。

1995年5月,Brendan Eich用了10天设计了JavaScript语言;10月,第一个解释引擎问世;次年11月,Netscape正式向ECMA提交语言标准(整个过程详见《JavaScript诞生记》)。对比UTF-16的发布时间(1996年7月),就会明白Netscape公司那时没有其他选择,只有UCS-2一种编码方法可用!

由于JavaScript只能处理UCS-2编码,造成所有字符在这门语言中都是2个字节,如果是4个字节的字符,会当作两个双字节的字符处理。JavaScript的字符函数都受到这一点的影响,无法返回正确结果。

例如:

image.png

回到最初

回到我们最初抛出的问题,我们该如何解决已经很明确了,只需要判断编码值在U+D800到U+DFFF,就可以确定是生僻字了

ES6对Unicode的支持

ES6增加了对Unicode的支持

  • 遍历字符

    用for of 可

    for (let s of string ) {
      // ...
    }
    
    // 但是,为了保持兼容,length属性还是原来的行为方式。为了得到字符串的正确长度,可以用下面的方式。
    Array.from(string).length
    复制代码
  • 码点表示法

    JavaScript允许直接用码点表示Unicode字符,写法是"反斜杠+u+码点"

    '好' === '\u597D' // true
     
    复制代码

    image.png

    如图,在ES6 中,用{} 将码点包裹起来,可正确解析生僻字

  • 字符串处理函数

    String.fromCodePoint():从Unicode码点返回对应字符
    String.prototype.codePointAt():从字符返回对应的码点
    复制代码
  • 正则表达式

    ES6提供了u修饰符,对正则表达式添加4字节码点的支持。

    这样,匹配的时候就可以按照一个字符进行匹配

    image.png

  • Unicode正规化

    有些字符除了字母以外,还有附加符号。比如,汉语拼音的Ǒ,字母上面的声调就是附加符号。

    Unicode提供了两种表示方法。一种是带附加符号的单个字符,即一个码点表示一个字符,比如Ǒ的码点是U+01D1;另一种是将附加符号单独作为一个码点,与主体字符复合显示,即两个码点表示一个字符,比如Ǒ可以写成O(U+004F) + ˇ(U+030C)。

    // 方法一
    '\u01D1'
    // 'Ǒ'
    
    // 方法二
    '\u004F\u030C'
    // 'Ǒ'
    复制代码

    这两种表示方法,视觉和语义都完全一样,理应作为等同情况处理。但是,JavaScript无法辨别。

    '\u01D1'==='\u004F\u030C'
     //false
    复制代码

    ES6提供了normalize方法,允许"Unicode正规化",即将两种方法转为同样的序列。

    '\u01D1'.normalize() === '\u004F\u030C'.normalize() 
     // true
    复制代码

    image.png

参考链接: Unicode与JavaScript详解 - 阮一峰的网络日志 (ruanyifeng.com)

分类:
前端
收藏成功!
已添加到「」, 点击更改