垂直模型不是玄学:定价权、数据域、防蒸馏与四段管线

0 阅读2分钟

郝新宇 / 认知风控(CRC)· 哲学心理学数字化

写给正在评估“继续调 API”还是“上垂直模型”的同学。 目标:读完能直接开评审会。

1. 动机 → 工程含义

动机工程含义可检查信号
定价权降单厂商锁死成本涨价/限流时有无替代链路与回归集
数据不出域私有化;授权链路完整训练语料能否出示授权与脱敏记录
防反向赋能场景数据不喂第三方训练工具轨迹、高质量 QA 是否出域
领域表达CPT 学依据;SFT 学格式术语/文体盲测能否区分“行内人”
责任可交代谁训谁署谁负责(≠已备案)输出责任人是否写进架构说明
防蒸馏核心方法不进可套取提示面黑盒采样能否复现你的边界策略

2. 防蒸馏:最小对策

蒸馏不只“偷权重”。稳定产品行为也能被采样学走。

对外:结果可给,完整内部链默认不给
对内:规则/红队/评测集内网
分层:本地核心(决策边界)‖ 云端风格(表达)

3. 四段管线 + 晋级门禁

阶段产物晋级前至少做
基座开源/外购 checkpoint许可证与商用边界核对
领域继续训练领域 checkpoint领域集↑ 且通用集不明显崩
后训练SFT/对齐模型任务格式正确率 + 拒答/合规用例
服务量化引擎时延/成本/质量三角可接受

预算提醒:评测要部署模型,卡时可能接近训练;多 checkpoint 并行评测更贵。

4. 数据最短路径

  1. 脱敏 + 授权合同 → 否则停
  2. 清洗 / 去重 / 模板对齐(与 chat template 一致)
  3. 领域:通用 配比小扫(经验区约 5%~30% 领域)
  4. 1/10 探测 → 全量
  5. 固定 step 存盘;loss 异常:先数据,再通信/并行

学习率:继续训练通常显著低于预训练,避免冲坏基座。

5. SFT 踩坑(高频)

  • 用 SFT“灌业务知识”→ 常见失败;知识分布优先走继续训练
  • 只盯业务指标、不回测通用 → 灾难性遗忘
  • 聊天模板与训练框架不一致 → “数据很好但学不会”
  • 无红队 → 上线后合规/危险问答穿帮

6. 和我们分层的对齐

静和哲思公开理念:本地核心与云端风格分离;认知风控做成可测对象。工程上 = 垂直能力 + 防蒸馏同一条线。


作者:郝新宇(认知风控 · 哲学心理学)。静和哲思双智能体与哲思复盘能力公开理念推进中;《超越AI时代的人:哲学心理学导论》(郝新宇、吴涛,国作登字—2026-A-00191731)。非心理咨询,非医疗诊断。