树獭叔叔

DPO：最简单的对齐算法 📚 目录 DPO是什么：抛弃RL的对齐方法 RLHF的问题：为什么还要更简单 DPO的核心创新：直接优化偏好 详细机制：从公式到代码 IPO：DPO的改进版（解决饱和问题）

> Constitutional AI & RLAIF —— 让AI自己给自己打分 --- ## 📚 目录 1. RLHF的成本问题：人类标注太贵了 2. Constitutional AI：AI自我

📚 目录 GRPO是什么：PPO的简化版 PPO的问题：为什么需要改进 GRPO的核心创新：组内对比 详细机制：从公式到代码 对比PPO：优势与权衡 代码实现 📌 前置概念：从PPO到GRPO GRP

📚 目录 RLHF整体框架：三阶段训练 第三阶段的四个组件：形象理解 组件的模型结构：共享Base，替换Head 训练流程：一次完整迭代 PPO的核心创新：Clip机制 代码实现与常见问题 📌 前置概

📚 目录 Device Context：CPU与GPU的数据流转 显存管理：理解Caching Allocator 性能优化：找出训练瓶颈 混合精度训练：加速2倍的秘密 常见OOM问题与解决方案 🔄

📚 目录 梯度下降的本质：从数学到代码 优化器家族：SGD、Momentum、Adam 的原理 学习率调度：如何动态调整学习率 损失函数：训练的目标 完整训练循环：从数据到模型 常见训练问题与解决方案

📚 目录 从链式法则到自动微分：为什么需要 Autograd？ 计算图的动态构建：每个操作都在记录历史 backward() 的实现原理：反向传播的机制 grad_fn 的追踪：梯度函数链 自定义操作

阶段一：前向传播 - Tensor 的内存模型与高性能算子 📚 目录 Tensor 的三要素：Storage、Shape、Stride 设计动机：为什么要分离 Storage 和 Shape？ 零拷贝

🎯 PyTorch 到底是什么？ 如果你问一个初学者"PyTorch 是什么"，大多数人会说： 这个答案没错，但不够准确。让我们换一个更工程化的视角： PyTorch 的本质定义 PyTorch 是一