大模型对齐算法合集

DPO：最简单的对齐算法 📚 目录 DPO是什么：抛弃RL的对齐方法 RLHF的问题：为什么还要更简单 DPO的核心创新：直接优化偏好 详细机制：从公式到代码 IPO：DPO的改进版（解决饱和问题）

📚 目录 GRPO是什么：PPO的简化版 PPO的问题：为什么需要改进 GRPO的核心创新：组内对比 详细机制：从公式到代码 对比PPO：优势与权衡 代码实现 📌 前置概念：从PPO到GRPO GRP

📚 目录 RLHF整体框架：三阶段训练 第三阶段的四个组件：形象理解 组件的模型结构：共享Base，替换Head 训练流程：一次完整迭代 PPO的核心创新：Clip机制 代码实现与常见问题 📌 前置概