"👨‍👩‍👧‍👦" 的 length 是 11:我把自己写的字数统计脚本拖出来审了一遍

8 阅读6分钟

"👨‍👩‍👧‍👦" 的 length 是 11:我把自己写的字数统计脚本拖出来审了一遍

先说结论,三条:

  1. 判「几个字」要用字素簇(Intl.Segmenter),判「会不会被截断」要用 .length(UTF-16 码元),这两个数经常差好几倍。
  2. 汉字正则 \u4e00-\u9fff 漏掉整个 CJK 扩展区。我自己的闸门脚本就是这么写的,所以它把一个 1200 字的正文判成了 1000 字。
  3. 标题限长按 .length 算,标题里塞一个 emoji,19 个码元实际只有 9 个视觉字符——你以为还剩 10 个字的空间,其实已经到顶了。

下面是把它量出来的过程,环境是本机 Windows 11 + Node v22.22.2,脚本和原始输出都留着。

起因:我有一条「正文必须 ≥1200 字」的闸门

写稿流程里有一道硬闸门:正文汉字数不够 1200 就不许发。脚本很短,核心就四行:

t = t.replace(/```[\s\S]*?```/g, '');     // 去掉围栏代码块
t = t.replace(/`[^`\n]*`/g, '');          // 去掉行内代码
const cjk = (t.match(/[\u4e00-\u9fff]/g) || []).length;
const total = [...t.replace(/\s/g, '')].length;

它跑了几天没出过事,直到我开始在标题和正文里用表情符号。某天一篇稿子明明写得很长,闸门却报 PASS=NO,我第一反应是脚本数错了——但「脚本数错了」这四个字不能当结论,得先量。

第一步:拿 14 个样本,四种数法一起上

同一批字符串,同时算 .length、码点数 [...s].length、字素数(Intl.Segmenter,粒度 grapheme)、以及两种汉字正则的命中数:

样本.length[...s]字素\u4e00-\u9fff\p{Script=Han}
一11111
𠀀(U+20000)21101
𠮷(U+20BB7)21101
👍21100
👨‍👩‍👧‍👦117100
❤️(U+2764 U+FE0F)22100
é(NFC,U+00E9)11100
é(NFD,e+U+0301)22100
①11100
㈠11100
㊙11100
한11100
A(全角)11100
①𠀀👍 混排53301

这张表信息量比我想的大。逐条说。

「一家四口」那个 emoji:.length 11,字素 1。 它是四个人的 emoji 用 U+200D(零宽连接符)串起来的:四个码点 + 三个连接符 = 7 个码点,每个 emoji 又占 2 个码元,总计 11。屏幕上是一个人,字符串里是十一个槽位。

❤️ 是 2,❤ 是 1。 差别在那个看不见的 U+FE0F(变体选择符),它负责把「黑白心」渲染成「彩色心」。删掉它,视觉上心还在,宽度可能变。

é 的两种写法:1 和 2。 NFC 是一个预合成码点;NFD 是 e + 组合重音 U+0301,两个码点、一个字素。同一个字,.length 一个 1 一个 2,=== 比较直接 false。

①、㈠、㊙、한、全角 A:全部 .length=1、汉字命中 0。 它们看着像中文环境里的字符,但在 \u4e00-\u9fff 这个区间里一个都不算。用全角字母和圈号凑字数,闸门是会给你算 0 的。

最后一行「混排」更值得看:①𠀀👍 的 .length=5、码点 3、汉字 0,而 \p{Script=Han} 命中 1。 三个字符里两个是「看起来像中文场景」的符号(圈号和表情),真正算汉字的只有中间那个生僻字。如果一篇文章全靠符号撑长度,四种数法给出的答案会从 3 一直跳到 5,而闸门认的那个数字始终是 0。这就是我最初「感觉字数够了、闸门说不够」的来源。

第二步:真正的 bug 在生僻字上

𠀀(U+20000)和 𠮷(U+20BB7)是 CJK 扩展 B 区的汉字,.length=2(代理对),码点 1,字素 1,但 \u4e00-\u9fff 命中 0,\p{Script=Han} 命中 1。

也就是说:这两个字确实是汉字,我的正则却一个都不认。

为了确认这不只是「少算一两个字」的小事,我按闸门的真实逻辑做了一次自测:构造一篇正文,1000 个常用汉字 + 200 个 𠀀,真实汉字数 1200。

结果:

真实汉字数 = 1200   脚本汉字数 = 1000   判定 PASS = false

一篇刚好达标 1200 字的稿子,只要里面有 200 个扩展区汉字,就会被判成 1000 字、卡在闸门外。反过来更危险:如果有人用生僻字注水,闸门反而数不出来——同一条正则,两个方向的错。

补区间能不能解决?\u3400-\u4dbf 是扩展 A,能救一批;但 U+20000 已经超出 BMP,\uXXXX 这套写法根本表达不了,得用 \u{20000} 加 u 标志,或者干脆用属性转义。

第三步:标题被截断,是另一回事

标题有长度上限,平台按 .length 数。我量了两个真实标题:

  • 一家人 👨‍👩‍👧‍👦 的一天:.length=19,字素 9。
  • 生僻字 𠀀 的输入法:.length=11,字素 10。

第一个标题在人眼里 9 个字,在输入框眼里 19 位,差 10 位全是连接符和代理对。如果我按「还有 10 个字可用」去补一个分句,标题会当场被截成半句。第二个只差 1 位,属于「偶尔踩一次」的量级,容易被忽略。

顺便量了标点:,。;:「」()【】——…·  这 15 个符号,.length=15,汉字 0,其中还包括一个全角空格 U+3000。它们占位、不算字——「字数够了」和「字符够了」从来不是一件事。

我最后改成什么样

const seg = new Intl.Segmenter('zh', { granularity: 'grapheme' });
const graphemes = [...seg.segment(text)].length;      // 视觉字符数
const codeUnits = text.length;                        // 平台截断按这个算
const hanzi = (text.match(/\p{Script=Han}/gu) || []).length; // 汉字(含扩展区)

三行各管一件事,别互相替代。改完重新跑那 14 个样本,𠀀 的汉字数从 0 变成 1,闸门自测那篇「1000+200」也回到 1200,PASS=YES。

这里还有一个更阴的坑,是我改代码时顺手试出来的。\p{Script=Han} 必须带 u 标志,可不带 u 的时候它不报错:/\p{Script=Han}/.test('汉') 返回 false,而 /\p{Script=Han}/.test('p{Script=Han}') 返回 true。没有 u,\p 被当成转义的普通字母 p,整个正则退化成一个匹配字面量 p{Script=Han} 的怪东西。它不抛异常、不报警告,只是在真实文本上永远命中 0——这比直接报错难查得多,因为你的代码「跑通了」,结果是空的。加上 u 之后,同一个正则对 汉 返回 true、对那个字面量返回 false,行为才对。

踩坑清单

  1. .length 是码元数,不是字数。 中文常用字 1:1,emoji 是 2 或更多,ZWJ 序列能到 11。
  2. [...s].length 是码点数,也不等于字数。 👨‍👩‍👧‍👦 数出 7,❤️ 数出 2,组合重音数出 2。
  3. \u4e00-\u9fff 只覆盖基本区。 扩展 A 要补区间,扩展 B 及以后只能用 \u{...}+u 或 \p{Script=Han}。
  4. 标题限长按码元算。 混 emoji 的标题先撞上限,别按肉眼字数估。
  5. 同一个字可以有两种码点写法(NFC/NFD)。 存库前统一 normalize,否则去重、比对、判等全会出鬼。

带走一句话

数「几个字」和数「几个字节」是两道不同的题:给人看的用字素,给机器截断的用码元,给闸门判定的用 \p{Script=Han}。三者混用,误差不是一两笔,是「1200 判成 1000」这种量级。