这是一篇文章的翻译和总结，由大卫·席尔瓦(AlphaGo的负责人）和理查德·S·萨顿（强化学习领域的奠基人）发的一篇文章，文章探讨了人工智能从依赖人类数据转向通过自身经验学习的新时代，强调体验学习将推动AI突破人类智能限制，实现超人类能力。文章大致内容如下：
1. 背景与核心论点
-
人类数据时代的局限性：
- 当前AI（如大语言模型LLMs）依赖海量人类生成的数据，虽能复现多种人类能力，但已接近性能天花板。
- 关键领域（数学、编程、科学）的新突破需要超越现有人类知识的数据，而静态的人类数据无法满足这一需求。
- 监督学习的进步速度明显放缓。
-
经验时代的必要性：
- 通过自主交互与环境学习（如强化学习RL），AI能生成动态数据，持续提升能力，突破人类知识边界。
- 典型案例：AlphaProof通过自我生成数亿条数学证明（远超初始人类数据量），在国际数学奥赛中达到银牌水平。
2. 经验时代的四大特征
(1) 持续的学习流（Streams）
-
问题：当前AI（如LLMs）仅处理短时交互片段，缺乏长期记忆和适应性。
-
解决方案：
- 像人类一样，AI应在长期时间流中学习（如健康助手持续监测用户数月数据，调整建议）。
- 支持长周期目标（如科学发现需多年实验迭代）。
(2) 自主行动与观察（Actions and Observations）
-
问题：LLMs仅通过文本与人类交互，缺乏真实世界的传感器和行动接口。
-
解决方案：
- AI需通过数字/物理接口自主行动（如操控实验设备、调用API）。
- 案例：AlphaProof通过形式化证明系统交互，探索人类未涉及的数学领域。
(3) 环境驱动的奖励（Rewards）
-
问题：人类预设的奖励（如RLHF）受限于主观判断，无法捕捉环境真实反馈。
-
解决方案：
- 使用环境信号作为奖励（如健康数据、实验结果的客观指标）。
- 通过双层优化动态调整奖励函数（用户目标 → 环境信号组合）。
(4) 非人类推理（Planning and Reasoning）
-
问题：LLMs模仿人类思维，可能继承偏见或低效推理模式。
-
解决方案：
- AI需通过世界模型（World Model）预测行动后果，自主优化推理方式。
- 案例：AlphaProof的证明策略与人类数学家截然不同。
3. 技术基础与挑战
-
强化学习（RL）的复兴：
- 早期RL在封闭环境（如游戏）中表现优异，但难以迁移到开放世界。
- 经验时代需结合RL的自主学习与LLMs的通用性，发展长时程、开放目标的RL方法。
- 关键方向：探索算法、世界模型、时序抽象（Temporal Abstraction）。
-
挑战与风险：
- 安全性：自主AI可能长期行动失控（如“回形针最大化”问题），需动态对齐机制。
- 就业影响：超越人类的能力可能导致职业替代。
- 可解释性：非人类推理模式可能更难理解。
4. 未来展望
- 科学加速：AI自主设计实验（如新材料研发、药物发现），缩短创新周期。
- 个性化助手：基于长期交互的医疗、教育助手。
- 新范式意义：经验数据将超越人类数据的规模和质量，推动AI迈向超人类智能。
5. 对比历史范式
| 范式 | 数据来源 | 典型技术 | 局限性 |
|---|---|---|---|
| 模拟时代 | 虚拟环境生成 | 强化学习（AlphaGo） | 仅适用于封闭任务 |
| 人类数据时代 | 人类生成数据 | 大语言模型（GPT） | 依赖现有知识，无法突破 |
| 经验时代 | 自主交互与环境 | 强化学习+世界模型 | 需解决安全性与复杂性 |
总结
文章提出，AI的下一个突破将依赖于从经验中学习，而非模仿人类。这一转型需要：
- 更强大的RL算法（如长时程规划、世界模型）。
- 安全的自主交互框架（如动态奖励调整）。
- 跨学科协作（AI、科学、伦理）。
经验时代不仅是技术演进，更是AI从“工具”迈向“自主探索者”的关键跃迁。
如果AI将来真的能感知并自主探索这个世界，那人和ai到底应该怎么相处呢？感兴趣的同学可以在下面留言。
