上周开源了一个自己做了两周的东西。写这篇是因为它的做法可能对别人有点用,也是因为我需要反馈。 先说它想解决什么 RL(后训练那摊)的坑非常多,但大部分只存在于某几个具体的人的经验里。你想知道「reward 崩了该先查哪」——能问的只有具体的人,或者翻一堆论文,论文还基本不写"什么时候不适用"。 所以想做一个公开的、可读可改可增补的 Markdown 结构。定位一句话:交付结构,不交付内容。 一个具体的例子 RL 工程师的第一句话通常不是「我想学 GRPO」,而是「我的 reward 不涨了」。 所以主索引不是词条表,是情境索引:每条知识挂几句「当事人会怎么问」的原话。 你把自己那句话丢进去,它给出一条六步路径——先看什么量、为什么、什么情况下这套不成立、背后有没有争论、别人怎么跑过、下一步会撞到什么。 它不是什么(这段比上面重要)
不是教程。不解释基础概念,假定你知道什么是策略梯度 不是论文导读。不摘要论文,只提取"这条在什么条件下成立" 不是超参推荐表。不会告诉你 β 设多少 不做检索服务。那个匹配器是离线、无模型、可复现的,git clone 下来就能跑 不做任何形式的排序。没有排行榜,匹配分也只衡量文本相近程度
我认为最值得说的一个设计:把「已验证」这个状态从系统里拿掉 每个节点有个 evidence_status 字段。36 个节点的值全部是「未验证」。 不是没填完,是**「已验证」这个值只能由外部授予**——模型填的东西,永远不能标它。这条规矩来自上游项目,我照抄了。 配套还有一条:来源、机构、置信度一律不进排序。排序键只有文件路径。 理由是:排序即推荐。把权威度写进排序,就是在替读者决定该信谁。 这两条合起来的意思是:这东西不给自己发信用。 (顺带说一句,我做这个的动因之一是:现在 AI 生成的知识库太多了,而它们最常见的毛病不是不准,是不说自己不准。) 然后是坑。做的时候撞出来的四个机制缺陷 四个都是我自己的代码。每个修完都验证过"改坏了会不会红",不是"跑绿了就算"。 一、承诺没有守卫。 路径模板里白纸黑字写「① 必须有变量、怎么测、判据三件」,但检查只断言 ① 非空。 实测:把某个节点整个「怎么确认」小节删掉,自检依然返回退出码 0。 → 加了一条不变量。现在删掉会红,而且点名是哪个节点。 二、入口改判带着隐藏拍数。 旧规则是「判断点分数 ≥ 阈值 × 0.8」——这个 0.8 从没写进过规格。 后果:一个概念节点自身得分 1.90 的查询,被一个 0.27 分的判断点顶掉了。 → 把库里 81 条原句逐条回灌,「没回到自己节点」的从 13 条降到 3 条。 三、「适用范围」在输出里完全不可见。 有个节点的适用范围第一句就是「不适用于奖励来自奖励模型的场景」。 我拿一句"我的奖励来自奖励模型,reward 崩了"去查,系统把它匹配上了(1.40)——而那句排除条件一个字都没输出。 系统给了一个明确不适用于用户的答案,用户看不到为什么它不该适用。 → 现在印在最上面。 四、判据提取只认小数。 9 个判断点里 8 个的「判据」是静默缺失的——路径看起来完整,其实少了一整件。 → 现在缺就明说"这一件是缺的",不再静默少一行。 一条我自己的更正 补完 5 个节点之后,「缺口」数从 23 掉到 16。我一开始挺高兴。 后来发现大半是假的:我把测试语料的原句写进了节点的 cues 里。 那不是"接住了",那是把测试集喂成了训练集。 改用留出集(跟 cues 没有交集的句子)来测,命中率是 15/17。这个数才是"换个说法还找不找得到"的尺子。 同一批还更正了一个更早的结论。我曾说过「对照组 4 句全中,说明匹配器没问题」——那 4 句和对应 cues 几乎逐字相同,它证明的只是"我把像的话写进了 cues"。 这件事让我把两个数分开了:缺口数回答"哪些处境还没人接",而改写命中率回答"入口好不好用"。两个数不能合并报。 现在什么状态 36 个节点 / 112 条处境 / 14 条路径。 全部由模型填,全部标 未验证。来源逐条挂 arXiv 编号。有 CI 跑四条自检。 已知边界,不藏:
亲历案例 0 个。 这一块只能由使用者提供真实实验记录,模型一个字都不能填。这是最大的空白 8 条判断点的判据仍然是空的。 行为是明说缺,不是假装有 框架选型那类问题不收("该用 verl 还是 OpenRLHF")。没找到过门槛的来源,而且那属于参数型内容
我想跟你要的 不是 star。 我用自己造的句子测了几十轮,不如有人拿一句他自己真实说过的话跑一次。 如果你在做 RL、或者碰过这类工程问题:麻烦把你遇到的那句话(原话,别改顺)丢进去,告诉我它落到哪、或者没匹配上。一整段几百字也行,有拆句模式。 链接:github.com/aic-123/rl-…