PyTorch

首先看一下 [n,1] 与 [n] 的区别，最根本的区别是形状为 [n,1] 的tensor是二维的，而形状为 [n] 的tensor是一维的。

用法示例： 统计model中所有可训练参数量： 注：numel() 是pytorch的函数，只适用于 tensor，不能用于统计 list、tup

一篇很好的博客：详解PyTorch中的ModuleList和Sequential 用 ModuleList 构建多层子层的例子： model：

torch.squeeze() 用法： 对 Tensor 进行降维，去掉维数为 1 的的维度。 a.squeeze() 是将 a 中所有为 1 的

一、用法： torch.gather 算子用于返回给定索引/下标的 Tensor 元素，在 pytorch 官网文档中的定义如下： 其用法等价于：

钩子编程（hooking），也称作“挂钩”，是计算机程序设计术语，指通过拦截软件模块间的函数调用、消息传递、事件传递来修改或扩展操作系统、应用程序

CPU（Central Processing Unit）：中央处理器 GPU（Graphics Processing Unit）：图形处理器 NP

一、保存和加载模型 保存模型有两种最基本的方式： 1、保存整个网络： torch.save(net, path1) 加载网络：model=torc

torch.ger 的用法 torch.ger 用于实现两个 Tensor 的内积，即 ger(a,b)= a^T *b （其中 a^T 表示 a

在使用 Apex 进行混合精度训练时，发现经过 Apex 的 model 无法通过torch.save() 保存，报错： AttributeErr

系统设置 Linux版本：Ubuntu18.04 cuda:11.1.1 之前用cuda9.1无法安装apex，原因是setup.py是用cuda

一、从一个简单的列表引入迭代器 关于 python 迭代器的基本介绍和使用可以看我之前写的博客： Python迭代器的创建和使用：iter()和n

将 Tensor 保存为 pth 文件再加载即可。这种方法对于不同 device 的服务器之间的算子测试，以及保存 size 很大的 Tensor

维度不同的 Tensor 如何相加呢？但是是自动填充对应维度，使维度相同后再相加。 如 torch.Size([1, 2, 3, 4]) 与 to

第一次用tensorboard查看数据发现打开网站没有数据。 命令：tensorboard --logdir=logs 报错： 网上有很多解决方法

本文已参与「新人创作礼」活动，一起开启掘金创作之路。 报错： 报错原因是torch版本与程序不适配导致的，需要更新版本。

一、torch.Tensor 1、torch.Tensor 的基本用法 torch.Tensor 默认数据类型是 float32 torch.Lo

包括数据创建，模型定义，超参定义，训练，测试等完整过程。 程序运行结果： loss of No 10 epoch is： 0.0901172533