ValueError: can‘t optimize a non-leaf Tensor 数据在cpu 和gpu之间转换的时候涉及到requires_grad

当我生成一个可导类型的cpu张量的时候，判断其是否为叶子节点，显示为True ，如下面的代码所示：

x = torch.randn(750,2048,requires_grad=True)
print(x.is_leaf)

#输出为：True

但是当我直接把这个生成的cpu类型迁移到gpu上时，有意思的事情发生了：

x = torch.randn(750,2048,requires_grad=True).cuda()
print(x.is_leaf)

#输出为 False

很蒙蔽吧，那么如何让一个生成的张量迁移到gpu上，并且在gpu上也为叶子节点呢?先将数据迁移到gpu上，然后再设置gpu上面的张量的requires_grad为True ，这样就可以了：

x = torch.randn(750,2048).cuda()
x.requires_grad = True
print(x.is_leaf)

#输出结果为： True

接下来再介绍一些pytorch的操作

torch中的normalize的功能是将一个向量单位化，比如一个向量为：

x = [1,2,3,4]

则标准化过程为先求出这个向量的二范数，然后将每一个维度上面的值都除以这个二范数。

import torch.nn.functional as F
import torch

x = torch.randn(1,3)
print(x)

z = F.normalize(x)
print(z)

运行结果为：

tensor([[-1.0407, -1.1139, -0.9541]])

设一个向量为x 则x.norm()返回的是这个向量的二范数

import torch

x = torch.tensor([1.0,2.0,3.0])
print(x.norm())

输出为：

tensor(3.7417)

所以如果要对一个向量进行单位化，可以直接F.normalize(x) ,也可以x = x / x.norm()

在pytorch中，我们经常需要查找tensor中某一个元素的索引，可能是在向量中查找索引，也可能是在矩阵中查找索引，下面分贝举例子：

import torch
import numpy as np

a = torch.tensor( [[1,2,3],[4,5,6],[5,6,7],[6,7,8]] )
a_t2n = a.numpy()
index = np.argwhere( a_t2n>4 )
print(index)

运行结果如下：

[[1 1]
 [1 2]
 [2 0]
 [2 1]
 [2 2]
 [3 0]
 [3 1]
 [3 2]]

返回的结果，比如第一个[1,1]代表a_t2n[1][1]=5,是满足条件的第一个元素的索引

举例子如下：

import torch
import numpy as np

a = torch.tensor( [1,2,3,4,5,5,4,7] )
a_t2n = a.numpy()
index = np.argwhere( a_t2n>4 )
print(index)

运行结果如下：

[[4]
 [5]
 [7]]

第一个结果[4]，代表a_t2n[4]=5,是第一个满足这个条件的元素的索引。