PyTorch学习笔记

📚 目录 Device Context：CPU与GPU的数据流转 显存管理：理解Caching Allocator 性能优化：找出训练瓶颈 混合精度训练：加速2倍的秘密 常见OOM问题与解决方案 🔄

📚 目录 梯度下降的本质：从数学到代码 优化器家族：SGD、Momentum、Adam 的原理 学习率调度：如何动态调整学习率 损失函数：训练的目标 完整训练循环：从数据到模型 常见训练问题与解决方案

📚 目录 从链式法则到自动微分：为什么需要 Autograd？ 计算图的动态构建：每个操作都在记录历史 backward() 的实现原理：反向传播的机制 grad_fn 的追踪：梯度函数链 自定义操作

阶段一：前向传播 - Tensor 的内存模型与高性能算子 📚 目录 Tensor 的三要素：Storage、Shape、Stride 设计动机：为什么要分离 Storage 和 Shape？ 零拷贝

🎯 PyTorch 到底是什么？ 如果你问一个初学者"PyTorch 是什么"，大多数人会说： 这个答案没错，但不够准确。让我们换一个更工程化的视角： PyTorch 的本质定义 PyTorch 是一