给内部写了个巡检脚本,用 subprocess 跑命令抓输出,在我机器上跑了一个月好好的,同事拿去一跑直接甩 UnicodeDecodeError。同一份代码两台 Windows,一台崩一台正常,典型的编码坑。我把两种机器都模拟了一遍,根因和修法全部实测清楚,记录如下。
一、根因:默认编码不是 UTF-8,是系统猜的
text=True 不带 encoding 参数时,subprocess 拿 locale.getpreferredencoding 的返回值当解码器,这个值在中文 Windows 上是 cp936 也就是 GBK,不是 UTF-8。我在同一台机器用两种模式实测:普通模式返回 cp936,开了 UTF-8 模式的返回 utf-8。这就是「在我机器上好好的」的全部真相,我的 Python 开了 UTF-8 模式,同事的没有。父进程用什么解码全看这个默认值,子进程输出的编码只要跟它对不上,必炸或者乱码,跟代码写得好不好没关系。
二、崩的两种姿势,报错位置会骗人
同事遇到的报错原文是 gbk codec can't decode byte 0xad in position 32 illegal multibyte sequence。最坑的是这个异常不在你写的代码行上抛,subprocess 读输出在后台线程里做,异常从线程里打印出来,你那行代码拿到的 stdout 是 None,接着在别处报一个 NoneType object is not subscriptable,看起来像你字典用错了。我自己复现的时候先被这个 NoneType 带偏,排查方向全错,后来才看见线程栈里真正的 UnicodeDecodeError。遇到 text=True 相关的怪问题,先翻完整输出找线程栈,别盯着自己那几行看。
三、比报错更阴的是静默乱码
报错还算仁慈,最阴的是不报错。一段 UTF-8 中文按 GBK 解码,大多数字节恰好能凑成合法的 GBK 双字节组合,解码直接成功,内容变成天书。我拿「提交记录:修复登录页」实测,UTF-8 字节按 GBK 解出来一串 鎻愪氦璁板綍锛氫慨澶嶇櫥褰曢〉,全程无异常。这种字符串进了 dict 当 key,后面所有查找全部落空,而且没有任何报错给你指路。反过来 GBK 字节按 UTF-8 解,大概率直接报 invalid continuation byte,崩得早反而是好事,静默成功才要人命。
四、chcp 65001 救不了管道
网上一搜全是让你先敲 chcp 65001 把控制台切到 UTF-8 的答案。我实测切完之后 getpreferredencoding 的返回值纹丝不动,text=True 照样按原默认编码解,该崩还崩。原理一句话:chcp 改的是控制台显示用的代码页,capture_output 走的是管道,管道传输全程没有控制台参与,解码器选谁只看 Python 自己的默认编码设置。chcp 是治「打印到屏幕乱码」的药,医不了解码崩溃,两个病别混。
五、修法一:encoding 显式指定,别让系统猜
根治就一句话:每次 subprocess 都显式传 encoding。读 ipconfig、netstat 这类 Windows 原生命令传 gbk,我实测 ipconfig 的 834 字节输出按 gbk 解出干净的「Windows IP 配置」「以太网适配器」;读 git、node 这类现代跨平台工具传 utf-8。拿不准子进程是什么编码,就先不加 text 拿字节,自己按 utf-8 试一遍、报错再按 gbk 试一遍,两次都不行再上 errors 兜底,试出来的结果写死进代码,别留在运行时猜。
六、errors 三种策略,ignore 最阴
指定了 encoding 又不想让程序崩,配 errors。我拿同一段 GBK 字节按 utf-8 解做了三档对照:strict 直接报错,位置和坏字节都给你指出来;replace 把坏字节换成问号花字符,内容损了但长度还在,肉眼能看出这里有事故;ignore 直接把坏字节扔了,我实测一句话解完只剩「Windows IP ã̫」,字丢了不留痕,日志看着半正常,比对最危险。要兜底就用 replace 留个看得见的疤,别用 ignore 静默丢数据。
七、两台机器统一的标准姿势
我的巡检脚本最后改成这样:text=True 时 encoding 和 errors 全部显式写死;对输出可控的 Python 子进程,直接在 env 里设 PYTHONIOENCODING 等于 utf-8,把子进程标准输出也钉成 UTF-8,父子两端同码,实测干净。最后记一个排查习惯:接手别人脚本先在本机跑一行,看 sys.flags.utf8_mode 和 getpreferredencoding 的值,两台机器对一遍,「为什么在我机器好好的」当场破案。默认编码是系统相关行为,跨机器分发的脚本永远别依赖它。
下一篇预告讲 git stash,改动存一半切分支的骚操作和误删恢复。