F.relu() 与 nn.ReLU()的区别？

两种方法都是使用relu激活，只是使用的场景不一样。
F.relu()是函数调用，一般使用在foreward函数。
nn.ReLU()是模块调用，一般在定义网络层的时候使用。

import torch.nn as nn
import torch.nn.functional as F

class NET1(nn.Module):
    def __init__(self):
        super(NET1, self).__init__()
        self.conv = nn.Conv2d(3, 16, 3, 1, 1)
        self.bn = nn.BatchNorm2d(16)
        self.re = nn.ReLU()  # 模块的激活函数

    def foreward(self, x):
        out = self.conv(x)
        out = self.bn(x)
        out = self.re()
        return out

class NET2(nn.Module):
    def __init__(self):
        super(NET2, self).__init__()
        self.conv = nn.Conv2d(3, 16, 3, 1, 1)
        self.bn = nn.BatchNorm2d(16)

    def foreward(self, x):
        out = self.conv(x)
        out = self.bn(x)
        out = F.relu(out)  # 函数的激活函数
        return out

net1 = NET1()
net2 = NET2()
print(net1)
print(net2)

如何理解，卷积神经网络CNN的卷积核是4维的？

这里引用一下别的作者的文章（侵权请联系删）

版权声明：本文为CSDN博主「HUST_zxs」的原创文章，遵循CC 4.0 BY-SA版权协议

原文链接：blog.csdn.net/HUST_zxs/ar…

理解步骤1. 卷积核为二维向量

在示意图中，暂且忽略尺寸的具体数值，假设有一张输入图片，为二维向量M × N，卷积核为二维向量m × n，经过二维卷积运算，得到一张输出图片，为二维向量M’ × N’。

理解步骤2. 卷积核扩展为三维向量

在上一步骤中，假设输入图片只有一张图片，而在实际情况中，图片存在“通道”的概念，输入图片包含通道，例如，一张彩色图片包含RGB三个通道，每个通道可以当作一张图片，那么，输入图片其实不只一张，而是多张，假设有P张（每张不同），P张堆叠在一起，输入图片就从二维向量M × N变成了三维向量M × N × P。

而对于卷积核，每张输入图片都需要一个单独的二维卷积核进行二维卷积运算，二维卷积核也就需要P个（每个不同），卷积核就从二维向量m × n变成了三维向量m × n × P。

输入图片里的每个M × N的二维向量和卷积核里的每个m × n的二维向量做二维卷积运算，可以得到P个M’ × N’ 的二维向量，P个M’ × N’ 的二维向量求和（为什么这里要求和？？？），加上偏置，构成一个M’ × N’ 的二维向量，也就是一张输出图片。这时，输出图片是二维向量M’ × N’。

理解步骤3. 卷积核拓展为四维向量

既然输入图片包含通道，输出图片也能包含通道。

在上一步骤中，所做的操作是得到一张输出图片，那么，把上一步骤的操作执行Q次，就可以得到Q个M’ × N’ 的二维向量，也就是Q张输出图片，Q张堆叠在一起，输出图片就从二维向量M’ × N’变成了三维向量M’ × N’ × Q。

因为上一步骤的操作执行Q次，而每次都需要一个单独的三维卷积核，三维卷积核也就需要Q个（每个不同），卷积核就从三维向量m × n × P变成了四维向量m × n × P × Q。

这样就可以理解卷积核为什么是四维向量了。总之，不要纠结向量的维度，而是理解卷积操作的过程，卷积操作本质上还是二维卷积运算，卷积核本质上还是二维向量，由于卷积操作的嵌套，扩展出了卷积核的第三维度和第四维度，卷积核也就从二维向量变成了四维向量。