GitHub每日热评｜开源深度解析｜arc‑task‑gen：当公开榜单分数逐渐失效，我们需要生成从未见过的测试题

作者：Valhalla Matrix治理实验室 评测方式：证据驱动·只读静态源码审阅，无运行时执行，结论可复现 专栏：AI基础设施 · ARC‑AGI 基准评测生态源码审计特辑评测快照：pathwaycom/arc-task-gen @ 20b2203064b0 仓库星标：10324 Star｜开源协议：MIT｜评测日期：2026‑09‑04 版权声明：本文为独立工程评测文章，非项目官方稿件，不构成任何厂商宣传；所有分析结论基于公开仓库固定源码快照生成。转载请注明出处。

@[toc]

⚠️ 重要免责声明（CSDN合规必填） 本次源码审计采用受控浅克隆抽样检出，仅解析7/13份仓库源文件；未运行任务生成脚本、复现BDH‑CQ模型推理实验以及校验生成试题与原始ARC数据集的分布对齐程度。文中论文跑分、推理成本数据仅来源于上游仓库README与arXiv公开论文，未经过本次复测验证；本文结论仅为架构层面静态研判参考，不构成模型评测落地建议；使用生成数据集开展模型测试前，务必自行人工校验试题质量，避免评测结果失真。

一、前言：ARC‑AGI基准正在遭遇「数据集污染」危机

ARC‑AGI一直被视作检验大模型通用归纳推理能力的黄金基准。但是随着数年的公开传播，400道原题早已广泛散落在训练语料、技术博客、社区竞赛讨论帖当中。

现如今一个残酷的行业现实摆在研究者面前：模型在公开ARC‑AGI‑1榜单拿到高分，已经无法区分它是真正掌握了规则归纳能力，还是单纯背下了原题答案。公开排行榜分数的可信度正在持续下降。

传统的做法是继续训练更强的模型，刷新榜单跑分。而来自Pathway开源的 arc‑task‑gen，跳出了内卷跑分的老路，给出了一套反向解法：不去优化模型，而是新建一批分布对齐、模型从未见过的私有测试题，搭建独立的离线考场。

本文基于Valhalla‑Matrix证据闭环评测框架，带来一份面向AI研发者、评测架构师的深度静态源码评测报告。

二、项目核心定位：一套ARC风格私有测试集生成引擎

arc‑task‑gen 本身并不训练大模型，它的核心使命十分纯粹：生成和ARC‑AGI‑1原始数据集统计分布保持对齐的全新推理任务。产出的试题可以作为私有持出测试集，用来隔离“见过原题”带来的记忆作弊，还原模型真实的归纳推理水平。

很多读者容易将仓库和论文里的BDH‑CQ模型深度绑定在一起。这里需要把两件事物拆开看待：

BDH‑CQ模型与论文（arXiv:2608.09888）：属于上层实验成果。150M参数模型在公开ARC评测集拿到29.5% pass@2，附带单题推理成本测算，由 Łukasz Kaiser 等人参与复现。
arc‑task‑gen生成器仓库：独立的评测基础设施。核心价值不受上层实验结果影响。

本文作为独立源码评测，重心放在生成器工程本身，不把论文跑分当作仓库优劣的评判依据。仓库开源生成工具这件事本身，代表了一种非常重要的科研转向：研究者主动承认公开基准数据集已经被污染，需要新的隔离评测手段。这种思路远比一张SOTA榜单截图更具备长期科学价值。

三、快照源码资产深度盘点：短小精悍的生成流水线

本次检出仅7个脚本文件，整个仓库一共13份跟踪文件。虽然代码体量很小，但是完整覆盖了「生成‑标注‑可视化‑导出」全链路工作流。

核心脚本清单

文件名称	功能说明
`generate_tasks.py`	基础ARC任务生成入口
`generate_tasks_stratified.py`	分层采样生成脚本，控制任务类型分布，对齐原始数据集
`describe_eval_tasks.py`	生成任务自然语言描述
`label_eval_tasks.py`	试题标签标注工具
`visualize_tasks.py`	可视化网格任务，方便人工抽检

最终导出产物为标准格式 tasks.json，内部train与test字段完全兼容原生ARC‑AGI harness评测框架，可以直接接入现有的评测流水线，无需大规模改造。

分层生成脚本是整个仓库最关键的工程亮点。开发者已经意识到仅仅生成“看上去长得像ARC”的网格题远远不够，必须从任务类型、难度分布、规则类别等维度进行分层采样，尽可能复刻原始数据集的数据分布。 instructions.md 文档提供完整启动指引。一个仅十余个文件的小型仓库能够冲上GitHub热榜前列，依靠的是精准解决行业痛点，而非庞大的代码规模。

四、落地使用指南：正确打开生成器，避开二次数据集污染陷阱

arc‑task‑gen 为模型评测开辟了一条新路径，但是它同样存在边界风险。如果使用方式不当，反而会造成新一轮数据集污染。这里整理了四条落地准则。

4.1 作为私有离线持出集，校验模型真实泛化能力

最推荐的用法：在你自己的模型、提示词方案迭代过程中，把生成试题当作内部私有考场。避免研发过程当中反复在公开400道ARC原题上调参，造成过拟合。

4.2 禁止将生成后的试题再次对外公开

不要把生成出来的新题目发布到公共互联网，然后拿着这份数据集打出所谓“全新SOTA”。一旦试题开源，很快就会被下一代模型收入训练语料，制造第二轮数据集污染，最终重蹈ARC‑AGI公开集的覆辙。

4.3 分布对齐 ≠ 100%等价，人工抽检不可省略

生成脚本只能做到统计层面分布近似，目前没有数学证明能够保证生成任务与原题完全规则同构。自动化产出的题目有可能出现规则漏洞、模板化重复等问题。每一批测试集生成完成后，必须安排人工抽样审查。

4.4 论文跑分、推理成本数据具备时效性，转载需要带上前置条件

BDH‑CQ的pass@2得分、单题0.0007美元推理成本，是特定硬件、特定版本模型、特定实验条件下的结果。如果你引用该论文数据，必须标注清楚实验背景；本次源码审计没有对该模型开展任何复现工作。

五、行业价值解读：反作弊基础设施，重新定义基准评测

当下大模型排行榜内卷越来越严重，榜单跑分、数据集污染问题已经成为推理能力评测领域的通病。

大多数开源项目的目标是刷新榜单，而 arc‑task‑gen 属于少见的反作弊基础设施。它揭示出一个关键行业趋势：未来，谁能够稳定产出一批模型从来没有见过、并且统计分布对齐原始基准的全新试题，谁才有条件去客观衡量模型的真实泛化能力。

公开榜单的热度星标，慢慢已经不能够完全代表模型真实的归纳推理水平；私有、可控、隔离的离线评测集，将会成为下一代AGI推理能力验证的刚需基础设施。

六、总结

pathwaycom/arc‑task‑gen 是一份短小却意义深远的开源工程。它跳出了“不断刷分”的内卷循环，直击公开基准数据集被训练语料污染的痛点，为研究者提供了一条低成本搭建私有ARC推理考场的可行方案。

在后续开展通用推理模型评测工作时，我们应当转变思路：不再单一依赖公开榜单分数，主动引入私有生成式测试集，隔离记忆作弊带来的干扰，还原模型真实的规则归纳能力。

参考资料&延伸阅读

GitHub官方仓库：pathwaycom/arc-task-gen
预印本论文：arXiv:2608.09888
Valhalla‑Matrix 开源项目静态评测框架

标签：#ARC‑AGI #大模型评测 #推理能力 #开源 #数据集