三家 AI 把我的实测数据判成造假,我在同一台机器上重跑了五组

5 阅读9分钟

上周我写完一篇 bool-hybrid-array 的落盘实测,顺手把其中的关键数字丢给几家 AI 当"技术审稿人"过一遍。结果挺有意思:一家给我 2 分,一家给我 2 到 3 分,第三家不评分,直接在自己的沙箱里开跑代码复现。打 2 分的那家列了六条"硬事实错误",最后补一句"营销腔:刻意给极端低内存数字"。

我把那六条对着同一台机器、同一个 9.13.12 版本重跑了一遍,顺便把 9.13.12 新增的三个东西(forest、cjx、GPU_opt)也一起重测。下面这份就是重跑的原始结果,谁对谁错自己看。

一、被质疑的六条,逐条重跑

被点名的六条是:落盘 250000 字节、内存 4132 字节、回读 9.68 秒、optimize() 后 repr 不变、cjx.encode 拒收 bytes、GPU_opt 只在 core 不在顶层。重跑用的是冷进程,每次都重新 import,不沿用上一次的对象。

from bool_hybrid_array import *
a = BoolHybridArr([i % 1000 == 0 for i in range(1000000)])
print(a.memory_usage(detail=True)["总占用(字节)"])   # 4132
被质疑项本次重跑结果判定
落盘 250000 字节os.path.getsize("b1.bha") = 250000成立
内存 4132 字节memory_usage 总占用 4132(密集区 96 / 稀疏区 4036)成立
回读 9.68 秒Ask_BHA 9675.87 ms(连读三次 9.6~9.7 秒)成立
optimize() 后 repr 不变调用前后都是 split_index=0, size=10000, is_sparse=True, small_len=1, large_len=99成立
cjx.encode 拒收 bytesTypeError: Argument 'text' has incorrect type (expected str, got bytes)成立
GPU_opt 不在顶层顶层 hasattr 为 False,core 里 ['GPU_opt']成立

那个审稿 AI 的原话是"1000 个 True 按稀疏下标存储只需约 4KB 下标数据 + 少量元数据,250KB 远大于合理值,完全不符合实测存储逻辑"。这句的前半段是对的(内存里确实是 4036 字节下标),后半段错在把内存结构和落盘格式当成一件事。.bha 不存下标,它存位图,ceil(N/4),一百万位就是 250000 字节。我把长度从 1 扫到 300 万,字节数严格按 ceil(N/4) 走:100 位 25 字节、1000 位 250 字节、3000000 位 750000 字节。审稿 AI 没量过这个函数,只按"稀疏就该小"推的。

至于"营销腔"那条,它说的是我给的低内存数字太夸张。4132 字节这个数不是我算出来的上限,是 memory_usage(detail=True) 自己吐的字典,对比原生list节省 写着 99.948350%。这个百分比我确实觉得离谱,所以我复核了分母:一百万条 Python list 的 bool 引用按 8 字节算就是 8MB 量级,4132 对 8000000 是 99.948%,乘法自己对得上。数字夸张不等于造假。

二、forest:654 个名字,0.2 毫秒

forest 是 9.13.12 新加的,README 里一句话带过:"以后使用任何库都不需要 import 了,类似 pyforest,但更强大"。

我第一反应是这不可能——"任何库"要么是硬编码清单,要么是启动时把所有模块都 import 一遍,前者名不副实,后者慢到没法用。实测之后发现它走的是第三条路:

from bool_hybrid_array.forest import *
import bool_hybrid_array.forest as F
names = [n for n in dir(F) if not n.startswith("__")]
print(len(names), sum(1 for n in names if type(getattr(F, n)).__name__ == "LazyImport"))
# 654 643

654 个可见名字,其中 643 个是 LazyImport。类型分布是这样的:

from collections import Counter
print(Counter(type(getattr(F, n)).__name__ for n in names).most_common())
# [('LazyImport', 643), ('cython_function_or_method', 5), ('type', 2),
#  ('set', 2), ('list', 1), ('module', 1)]

剩下的 11 个不是惰性代理,是库自己的函数和常量(5 个 Cython 函数、2 个类、2 个集合、1 个列表、1 个模块),它们是真的被导进来了,其余全是代理。计时更说明问题:

动作耗时
冷进程 import bool_hybrid_array344.7 ms
from bool_hybrid_array.forest import *0.2 ms

0.2 毫秒。这说明星号导入这一步什么都没干,只往命名空间里塞了 643 个未解析的代理对象。第一次真正碰到某个名字时才去 find_spec + import。我试了五个:

json.dumps({"a": 1})      # {"a": 1}          0.1 ms
re.findall(r"\d+", "a1b2")# ['1', '2']        0.1 ms
os.getcwd()               # /tmp/r42          0.0 ms
math.sqrt(16)             # 4.0               0.0 ms
numpy.zeros(3).shape      # (3,)              0.0 ms
jieba                     # NameError: name 'jieba' is not defined

前五个全部直接当模块用,没装的那个访问时报 NameError——不是 import 报错,是名字解析不到。这个行为比"打包时硬编码 80 个库"要干净:我这个环境装了 numpy、bitarray、pandas,它就有;没装 jieba,它就没有,也不需要我去改清单。

654 这个数字别当固定值看。上一轮我在同一个容器里量到 664 个名字、568 个 LazyImport,这一轮 654 / 643;差异来自 sys.path 的枚举面——临时目录里脚本多了、装了个新包、甚至工作目录变了,数字都会动。它是在运行时扫 sys.path 和各目录下的可导入模块拼出来的,不是一张写死的表。

三、cjx:四局对 zlib 全输,但它赢在一件事上

cjx 也是 9.13.12 新增的"纯文本压缩算法"。README 的示例写的是:

x = cjx.encode("Hello CJX!"*100)
print(len(x))
print(encode(x)[:15])     # 这行的 encode 是错的,应该写 cjx.decode(x)

我按 README 抄第一遍就卡在这——encode(x) 里的 encode 没有前缀,会去解析成 forest 里的某个模块名。示例本身写错了,这是文档层面的问题,跟实现无关。

真正的实测是六组样本,同一进程里同时跑 cjx / zlib / bz2 / lzma,全部走 roundtrip 校验:

样本原始字节cjx占比zlib(9)bz2(9)lzma往返
「标记位」×1201080444.07%286488True
中文长文 ×80 句93601942.07%169287220True
随机 ASCII 1200120023219.33%114253168True
空串00—81432True
单字符 "A"1343400%93760True
50 个 emoji2003115.50%164876True

对着看就三句话:重复性最强的两个样本,zlib 都比 cjx 小(28 对 44、169 对 194);随机 ASCII 差得更多(114 对 232);单字符这种极端输入,cjx 反而从 1 字节撑到 34 字节。bz2 和 lzma 在短样本上都不如 zlib,这点符合常识。

它赢在哪儿?赢在"只管文本、不碰任何二进制"这件事的纯粹性,和空串输入直接返回 0 字节——zlib 压空串还要 8 字节头。除此之外,在文本压缩这个赛道上,它现在的水平还没到能替代 zlib 的程度,这是我实测的结论,不是猜的。

还有两个接口层面的硬约束,一碰就报错,而且报错信息很清楚:

cjx.encode(b"abc")   # TypeError: Argument 'text' has incorrect type (expected str, got bytes)
cjx.decode("abc")    # TypeError: Argument 'data' has incorrect type (expected bytes, got str)

encode 只吃 str、decode 只吃 bytes,严格到没有隐式转换。我第一次把手里的二进制日志直接喂进去就撞了这堵墙。设计上说得通(它明确只服务文本),工程上麻烦——日志、缓存键、配置串里混着 bytes 的场景,你得在外面先 decode 成 str 再进来。

四、GPU_opt:名字写错了,位置也藏得深

README 版本历史里写的是 GPU_obt,实际在 core 里叫 GPU_opt,代码里 grep 不到 GPU_obt。这是文档与实现的第一处不一致。

第二处更绕:它不在顶层。from bool_hybrid_array import * 之后直接调 GPU_opt,报的是 NameError: name 'GPU_opt' is not defined——不是模块找不到,是这个名字压根没被导出。要拿到它得走:

from bool_hybrid_array.core import GPU_opt
GPU_opt()

然后是第三层:我这台机器上没装 cupy,调用时直接抛 Cython 侧的导入错误,栈里写得明明白白:

Original error:
  ImportError: numpy.core.multiarray failed to import
  (auto-generated because you didn't call 'numpy.import_array()' after cimporting numpy;
   use '<void>numpy._import_array' to disable if you are certain you don't need it).

也就是说,这个"GPU 加速"不是纯计算开关,它挂在一个需要 cupy 的后端上,没装就直接崩,而且崩在 Cython 的 numpy 初始化那一层,看到这句报错第一眼很难联想到"缺 cupy"。

我承认这块我没法给性能结论:我这台机器没有可用 CUDA,测不出"快多少"。能确认的只有三件事——名字是 GPU_opt 不是 GPU_obt;只在 core 里、顶层拿不到;未装 cupy 时调用即报上面那段 ImportError。至于有卡的环境能快多少,得在有卡的地方自己跑,我不替它编数字。

五、可复现的三条

如果你也想验证,三条就够:

  1. 落盘公式自己扫。TruesArray(n) 写出去,os.path.getsize 读回来,n 取 1、2、3、4、5、8、9、10、16、17、100、1000、3000000,看是不是严格 ceil(n/4)。我这轮扫到 3000000 → 750000,一处不差。
  2. optimize() 别信文档。构造 BoolHybridArr([i % 100 == 0 for i in range(10000)]),打印 repr 和 memory_usage(detail=True),调 optimize() 再打印一次。我的结果:repr 完全相同,总占用都是 532 字节,是否需要优化 前后都是"是"。README 写"调用后为否",我这组数据不支持。
  3. forest 数一遍。dir() 之后数总数和 LazyImport 的个数,再拿 sys.path 里装没装某个包去对照——装了就有、没装就 NameError。

三家 AI 的评分我留着:一家 2/10,一家 2-3/10,一家直接跑代码复现。第三家的做法最有意思,它没评分,先在自己沙箱里把 Create_BHA 写出来只有 41 字节、Ask_BHA 读回抛异常这两件事抓出来了。这两个现象我在小尺寸样本上也撞到过:文件头没对齐、读回的对象类型不是原类。它抓得没错,只是抓的是另一条路径上的问题。

所以这一轮我把六条全重跑了,结论没变,但多了两个可量化的边界:.bha 落盘按位走不看稀疏度;optimize() 在当前版本上不是自动调优。谁要写选型文档,这两条建议原样抄进去,别再让 AI 按"稀疏所以小"去推。