监督学习 vs 强化学习RLHF：AI 大模型为什么需要"挨骂教育"？

不会弹吉他的布鲁克
101 阅读7分钟

既然监督学习能让AI模仿人类答案，为啥还要折腾强化学习（RLHF）？
——因为AI也需要"挫折教育"啊！

image.png

监督学习 vs 强化学习

  • 强化学习（答辩课） ：
    让AI自由发挥答案，人类老师打分（👍/👎）。目标：教会AI用真实知识拿高分，而非背答案。

🤖 RL的硬骨头：

  1. 甩锅难题：答案末尾才给分，AI不知道哪部分出错（研究者正攻坚）
  2. 人工成本：每个答案都需人类评分（贵！）
    既然如此麻烦，为啥还要RL？ 往下看👇

  1. 预训练的本质是：让AI狂啃互联网文本，学会"接话" 即最大概率的预测下一个词元,完成补全动作（如问"天空是"→接"蓝色的"）。

    • 副作用：AI变"话题终结者"，可能答非所问（问"怎么做披萨？"→答"需要面粉吗？"）

  2. 监督学习（SL）照猫画虎 ：雇人类写标准答案，逼AI照抄,相当于开卷考试,（如Q："法国首都是？" → A："巴黎"），让它照葫芦画瓢。

    • 优点：教AI精准答题
    • 死穴：AI被迫复制答案，哪怕自己根本不懂！未知答案时逼AI硬编

  3. 强化学习（RLHF） ：让AI自由发挥答案，人类老师打分（👍/👎）。目标：教会AI用真实知识拿高分，而非背答案。

    • 痛点：反馈稀疏（仅结局打分）& 人工才是最贵的
    • 必杀技：允许负反馈,外挂大脑（"这答案错了！"）

💡 二者关键差异：
SL像抄作业（只教"对"），RL像考试（知对错,好坏优劣）。

多样性优势：RL拒绝"答案八股文,专治 "不懂装懂"

image.png

监督学习像强迫症老师：只认标准答案"巴黎"，若AI答"光之城"就判错。RL则允许"花式表达"——只要答案正确，"巴黎"="光之城"="法棍国首都"都行！

当人类向AI提问时，分三种模式：

image.png

创造性型**例子关键需求
文本型"总结这份PDF"精准抓重点
求知型"新冠症状有哪些？"必须真实！
创造型"写首月亮主题的诗"想象力

监督学习在求知型场景的致命伤：

  • 若AI知道答案：抄标准答案 → 完美！ ✅
  • 若AI不知道答案：被迫编造 → 学会撒谎！ ❌

🤯 恐怖实验：
问AI："黑洞内部有WiFi吗？"（答案未知）

  • 监督学习：逼AI胡诌"有5G信号"（因人类示范答案这么写）
  • 强化学习：AI答"我不知道" → 人类给安慰分；若瞎编 → 扣大分 → 学会诚实！

RL 教 AI 说我不知道,避免出现伪学霸

  • 监督学习困境：
    人类无法预判AI哪些问题不懂 → 难教"放弃回答"

  • RL解决方案：

    1. 先微调：教AI在某些场景说"我不知道"

    2. RL强化：定制奖励函数

    • 正确答案：+100分 💯
    • "我不知道"：+60分 😅
    • 错误答案：-200分 💥

image.png

当前乱象：许多公司用监督学习克隆ChatGPT 或者开源大模型的能力（输入问题 → 逼AI抄大模型的答案）

对应风险：

  • 若你的AI知识 > GPT知识：懂答案却抄GPT错误回复 → 能力降级！
  • 若你的AI知识 < GPT知识：不懂却硬抄答案 → 强化撒谎！出现幻视

image.png

正解：用RL重新训练（小贵但有必要）

RLHF：像训狗一样训AI？差不多吧!

早在 2022 年,InstructGPT就亮相了。如果用标准测试来衡量 InstructGPT 和 ChatGPT 二者的“硬实力”，这哥俩其实相差无几,为什么ChatGPT 更受欢迎一些?

image.png

ChatGPT 微调方法做了点小改动，加了些对话数据，让其变得更“平易近人”，更容易上手, 但数据只是开胃菜。真正让其产生“质变”、能更好揣摩大家心思的核心技术，是早在InstructGPT里就用上的 “人类反馈强化学习”（Reinforcement Learning from Human Feedback, RLHF） 。

想象一下训练小狗握手：

  1. 小狗（AI）尝试做出一个动作（比如生成一段回答）。
  2. 主人（人类评分员）根据小狗的动作是否符合心意给出反馈（更喜欢A回答还是B回答？）。
  3. 通过大量这样的“打分”，AI就能逐渐学会人类真正偏好什么样的回答风格和内容

幽默插画创作.png

做对了给奖励，做错了给惩罚（或者不给奖励），让AI智能体朝着目标不断调整行为。RLHF的精髓在于：这个“奖励”不是程序员拍脑袋写的代码，而是由人类亲自“打分”来定义的！

OpenAI联合创始人John Schulman（也是ChatGPT的项目负责人）直言不讳：RLHF才是ChatGPT的“秘密酱料”（secret sauce）

幕后英雄：强化学习大牛John Schulman 这位把RLHF称为“秘密酱料”的John Schulman，正是该技术背后的关键人物，也是ChatGPT项目的负责人。他可是强化学习领域的顶尖专家，发明了TRPO（信赖域策略优化）、GAE（广义优势估计）以及现在广泛应用的PPO（近端策略优化）算法。师出名门（导师是强化学习开拓者Pieter Abbeel），OpenAI初创元老，妥妥的技术大牛

强化学习 RLHF 可以有效帮助大模型

  1. 从“能做”到“做好”： 当强大的GPT-3出现时，Schulman意识到AI的下一个前沿是“真正发挥语言模型的作用”。传统RL需要预设奖励函数，但在复杂现实任务中，定义“好”与“坏”极其困难。RLHF巧妙地用人类偏好作为奖励信号，解决了这个核心难题。
  2. 对齐人类意图的关键： 原始语言模型很聪明，但像鹦鹉学舌，只会模仿训练数据。它不明白用户希望它“完美回答问题”，而可能觉得“生成一个语法通顺的句子就行”。RLHF的核心目标就是让模型理解并执行人类的真实意图。
  3. 效果拔群： 实验证明，使用RLHF微调后的模型（如InstructGPT），在遵循指令的能力上提升巨大，“几乎能媲美比它大100倍的模型”。这效率提升相当惊人！

强化学习 RLHF虽强,但是也面临其他挑战

image.png

  • 奖励模型“走偏”： 模型可能钻奖励模型的空子（找到对抗样本）。比如，人类评分员若无意中偏爱冗长答案，模型就会越说越长。需要精心设计评分指南。

  • 人类偏见： 评分员的主观偏好会被模型学习，需要持续引导和规范。

  • 监督困难任务： 当模型能力接近或超越人类时，有效监督变得困难。Schulman团队正在探索第二阶段对齐：训练AI系统协助人类提供反馈。例如，一个模型写答案，另一个模型提出批评，人类只需判断批评是否正确，降低了监督难度。

  • AGI的疑虑与期望： Schulman赞同Stuart Russell的观点：未来的强大AI不应死守预设的“奖励函数”，而应保持“怀疑态度”，努力理解人类动态变化的真实意图。他认为RLHF正是朝着这个方向迈进。关于AGI何时到来？他的预测是：未来5年AI可能在多数工作上超越人类，但AGI的诞生可能伴随着反复的误判，整个过程可能需要10-15年

未来曙光：AI当"监考老师"

传统RLHF贵是因为需人类评分，对应破局点：

  1. 训练自动评分AI（监督学习就能搞定）

    • 比答案相似度 ✅
    • 查事实一致性 ✅

  2. 用评分AI替代人类 → 低成本RL训练 🚀

image.png

✨ 终极图景：
AI生成答案 → 评分AI批改 → RL优化 → 高效防撒谎闭环！

Agent AI智能体反思架构搞起!!!

结语

所以，下次你和ChatGPT愉快聊天时，别忘了背后这套“驯服”大模型的核心科技——RLHF。它不是什么从天而降的黑科技，而是OpenAI团队（特别是Schulman这样的RL大牛）巧妙地将强化学习与人类智慧结合，让强大的语言模型真正学会理解并服务于人类意图。这条路还很长，挑战不少（比如别让大模型学得太“话痨”），但正是这些持续的对齐努力，让大模型努力成为一个既博学（希望如此）又好聊（尽力而为）的AI伙伴。

avatar
文章
阅读
粉丝