学点技术儿

在 PyTorch 训练中，torch.cuda.empty_cache() 的正确使用需要结合具体场景。以下是 5 种典型使用场景和最佳实践建议： 1. 训练循环中显存碎片化严重时 适用场景 • 当

PyTorch 中四种并行策略的详细对比说明，包含工作原理、适用场景和配置示例： 1. DP (DataParallel) - 数据并行 工作原理 • 单进程多线程：主GPU（device 0）负责分

什么是Sphinx注释？ Sphinx注释是Python文档字符串(docstring)的一种标准格式，主要用于： 生成专业级API文档（通过Sphinx工具） 提供IDE智能提示支持作为代码内提示。

在 PyTorch 中，grad_fn 属性用来记录变量是怎么来的，方便计算梯度。当你对一个张量执行操作时，PyTorch 会创建一个新的张量，并将其 grad_fn 属性设置为创建它的函数的引用。

为什么主要对叶子张量求梯度？ 优化目标：模型训练的目标是优化模型参数（叶子张量），以最小化损失函数。因此，我们需要计算这些参数关于损失函数的梯度，以便使用梯度下降或其他优化算法更新参数。

autograd是pytorch构建神经网络的核心。 在 PyTorch 中，结合以下代码例子，当你对一个张量 x 设置 requires_grad=True 时，你实际上是告诉 PyTorch

requires_grad的三种写法以及区分 第一种： 第二种： 第三种： 这三种写法在功能上是等价的

在 PyTorch 中，叶子张量（Leaf Tensor）和非叶子张量（Non-Leaf Tensor）是计算图中的两个重要概念： 叶子张量（Leaf Tensor） 叶子张量是计算图中的起始点

下面是一个使用 torchviz 可视化 PyTorch 计算图的示例代码。这个例子中，将创建一个简单的神经网络层，并通过 torchviz 将其计算图可视化。