CNN
基础卷积神经网络(CNN)
- 卷积层:卷积层的卷积核相当于一个“滤波器”,它可以滑动地扫描整个图像。通过卷积核提取输入图像的特征,这些特征可以是边缘、纹理或者图像中其他模式信息。
- 池化层:池化层通过缩小特征图的大小来降低计算量,同时保留最重要的信息。常见的有最大池化和平均池化。
- 全连接层:将前面的卷积和池化提取出来的特征映射为一个最终的分类标签。
经典的 LeNet、AlexNet、VGG 等都是采用这种方式,通过不断堆叠卷积和池化操作来提取特征,最后通过全连接层来实现分类。
UNet
CNN 的局限性
CNN 在图像分类任务中表现非常好,因为它能够学会如何识别图像中存在的不同特征。但是遥感地物提取任务属于图像分割,要对每一个像素进行精确地分类,传统 CNN 是难以实现的,为了应对这种精细的分割任务,UNet结构应运而生。UNet 结构主要解决了两方面的问题: 1.像素级特征提取:不仅提取图像的整体特征,还能够对图像的每一个像素进行分割,使得输出的图像可以恢复到原始的尺寸。 2.多尺度信息融合:通过引入编码器-解码器结构,可以从不同尺度上提取信息,保持细节的同时得到全局特征。
UNet结构
UNet 的结构可以分为两个主要部分:编码部分(下采样)和解码部分(上采样)。中间还包含了跳跃连接。
编码部分(下采样)
从输入图像中提取特征,逐层减少特征图的尺寸,就是传统 CNN 的卷积+池化操作。每一层包含卷积操作和池化操作,卷积提取特征,池化减少分辨率。通过逐层向下采样,可以获得越来越高层的语义特征。
解码部分(上采样)
逐步恢复特征图的大小,以得到最终的分割图像,达到与原始图像相同的分辨率。上采样操作用于将低分辨率的特征图放大,同时将编码部分提取到的特征合并到上采样结果中。
跳跃连接部分
UNet 的核心不仅仅在于上采样,还有跳跃连接,它将编码器部分每一层的特征直接传递到解码器相应的层中。这样可以确保解码器在恢复特征图时,不仅利用高层次的语义特征,还可以使用低层次的细节特征,从而使最终的分割结果更加精细。
UNet++
UNet++ 是对 UNet 结构的进一步改进,它在每个卷积块之间引入了更多的密集连接,这些连接使得模型可以更好地融合和利用多尺度特征。
在 UNet++ 中,每一层的特征不仅传递到下一个层,还传递到更多的后续层。这些多次连接被称为密集连接,它们可以使得特征在不同层之间进行交互和融合,从而捕获更多细节。UNet++ 的网络结构更加模块化,每一个解码单元中都包含多个子模块,使得分割任务能够更加精细地进行处理。
UNet 与 UNet++ 的对比
- UNet:基本的跳跃连接,简单将相应层的特征拼接后送入上采样层。
- UNet++:通过多个卷积层之间的密集连接,模型能够更有效地整合不同分辨率的特征,尤其是在一些边缘细节和微小特征的提取上,UNet++ 通过密集连接使得解码部分能够融合更多的细节特征,使分割边界更加精细。对于遥感图像中那些复杂的地物形状和细节,UNet++ 的表现往往比 UNet 更加优越。
EfficientNetB5编码器 + UNet++解码器
EfficientNet 是一种高效的卷积神经网络家族,它通过一种称为复合缩放的方法来平衡模型的深度、宽度和分辨率,从而在保持较低计算成本的同时达到较高的精度。B5是 EfficientNet 系列中的一个版本,具有较大的深度和宽度,非常适合特征提取。考虑在遥感图像中,地物通常具有不同的尺度。EfficientNet 的特征提取能力能够更好地捕捉这些多尺度的信息。在 EfficientNetB5 + UNet++ 这套技术中,EfficientNetB5 被用作编码器,即用于提取图像的多尺度特征。相比于 UNet 中使用的简单卷积块,EfficientNetB5 可以更好地提取图像的细致特征,尤其是对于高分辨率遥感图像中的地物,如道路、建筑物等,其复杂的特征都能被更精确地捕捉。解码器的任务是逐步恢复特征图的大小,最终输出与输入图像相同大小的分割结果。UNet++ 使用的密集连接结构使得解码器在恢复过程中保留了更多的细节,尤其是在对图像中边缘和小目标的分割方面,具有显著优势。
在实际中使用 EfficientNetB5 + UNet++ 进行遥感地物提取的流程通常如下:
- 输入图像:输入高分辨率的遥感图像。
- 编码部分(B5):将输入图像通过 B5 进行多层卷积和池化,逐步提取出不同尺度的特征。
- 解码部分(UNet++):通过多次上采样和密集连接,将编码器提取的特征逐步恢复到原始分辨率。
- 输出:输出每个像素的分类结果,形成地物分割图,例如标记建筑、道路、森林、水域等。
为什么使用 EfficientNet 而不是其他卷积网络?对比传统的CNN(以AlexNet为例)
EfficientNet 通过其独特的复合缩放方法,在保持较低计算量的情况下实现了非常高的精度,这使得它非常适合大规模遥感图像的处理。此外,EfficientNet 具有良好的多尺度特征提取能力,这对于地物提取至关重要。
AlexNet 架构的详细解析
输入图像: 这表示输入是一个 RGB 图像尺寸为227x227。
卷积层 1: 卷积核的大小Conv=11x11,可以在较大的感受野(区域)中提取图像的局部特征。 stride步幅=4,这意味着卷积核每次滑动时跳过 4 个像素可以迅速缩小特征图的大小,这种做法有效地减少了计算量但也可能会丢失部分细节。Kernels=96,即96个卷积核,那么下一级输出的图像的通道数为96,也就是说卷积操作后特征图尺寸变为 55x55x96,通过公式计算得出:((227 - 11)/4 + 1 = 55)。
在卷积神经网络中,卷积核的数量决定了你希望从输入图像中提取的特征数量。即使输入是高光谱图像,具有数百个通道,每个卷积核也是对所有通道进行加权和处理,就是说不管你输入的图像是几通道,反正一个卷积核就生成一个特征图。例如,使用999个卷积核,每个卷积核对所有输入通道(如高光谱的多个波段)进行卷积,输出999个特征图。由于图像面积(空间大小)不断变小,而厚度(特征)不断变厚,这个过程就是CNN抽象特征的过程。
池化层 1:3x3,步幅 2:使用了 3x3 的池化窗口和 步幅为 2,这意味着池化层可以将 特征图进一步缩小。经过池化,特征图的大小从 55x55 缩小到 27x27,这样有效减少了计算量。池化操作可以降低特征的空间分辨率,同时保留最重要的信息。
更多的卷积和池化层:后续继续使用更小的卷积核,例如 3x3 或 5x5,并且增加卷积核数量,从 256 到 384,逐层提取更加复杂的特征。每一层卷积后都会接一个池化层,来进一步减少特征图的尺寸,最终在最后的卷积层之后得到非常小的特征图(6x6x256)。
全连接层和 Softmax 输出:最后,将池化后的特征图展平,输入到两个 4096 维的全连接层,然后通过 Softmax 层输出 1000 个类别。全连接层的作用是将卷积层提取到的特征进行整合,并用于最终的分类。
传统的CNN图像分类网络(如AlexNet)之所以不适合直接进行语义分割,其本质在于它们只包含下采样过程。这些网络通过卷积和池化操作逐步减少特征图的空间分辨率,以提取抽象的特征表示,但它们没有机制来恢复图像到原始尺寸,也没有对每个像素进行分类的能力。因此,传统的CNN图像分类网络只能输出单一的分类结果,而不是像素级的详细分割图。要实现语义分割,必须去除全连接层和Softmax层,并引入上采样和解码器结构,这些结构能够将特征图恢复到原始图像的尺寸,并对每个像素进行分类,从而实现像素级的预测和精细的空间细节重建。
EfficientNet架构的详细解析
复合缩放的不同方式
- (a) Baseline 网络:基础网络,深度、宽度和输入分辨率都处于较低水平。
- (b) 宽度缩放 (Width Scaling):图中的宽度增加是增加每层的卷积核数量(即通道数)。这使得网络可以提取到更多不同类型的特征。但仅仅增加宽度,可能导致过高的计算成本,而且如果深度不够,则无法充分理解图像的上下文信息。
- (c) 深度缩放 (Depth Scaling):增加网络的深度,即层数的数量更多。这样可以逐步提取到更高层次的特征,例如从边缘、纹理到更复杂的物体。仅增加深度会导致计算复杂度的增加,可能会引发梯度消失或梯度爆炸的问题,特别是在训练非常深的网络时。
- (d) 分辨率缩放 (Resolution Scaling):增加输入分辨率意味着模型在输入时看到更多细节,例如图像的边缘和纹理等细微特征。但是,输入分辨率的增加会导致计算量的大幅增加,尤其在处理高分辨率图像时,这样可能带来巨大的计算负担。
- (e) 复合缩放 (Compound Scaling):EfficientNet采用的就是这种复合缩放方式,即同时增加深度、宽度和输入分辨率,并且保持这三者的均衡增长。在图 (e) 中,我们可以看到,网络在深度、宽度和分辨率上都进行了适度的增长,这使得模型能够既捕捉到全局的上下文信息,又能保留细节。
EfficientNet 的设计优势
- 复合缩放的平衡性:相比于单一维度的增长,复合缩放让模型在复杂性与性能上找到了一个良好的平衡点,不会因为某一维度的过度增加而导致效率低下或者计算成本高昂。
- 多尺度特征捕获:通过同时增加深度、宽度和输入分辨率,EfficientNet 可以捕获不同尺度的信息。例如,深度的增加让模型能够逐层理解复杂的图像特征,而宽度的增加可以保证每一层有足够的特征通道去捕获不同的细节。
我们对 AlexNet 和 EfficientNet 的设计进行更深入的对比:
设计思路上的区别: AlexNet采用较大卷积核和步幅,快速缩小特征图尺寸。目标是通过较少的计算层数提取到主要特征。这在当时的硬件限制下是很好的折衷,但会牺牲细节。 EfficientNet强调均衡的特征提取能力。通过复合缩放,确保网络在宽度、深度和输入分辨率上都进行了合适的扩展,这样模型可以在不增加计算负担的前提下提取到尽可能丰富的特征。
特征提取方式的不同: AlexNet 的特征提取主要通过大卷积核和池化完成。图中的 11x11 大卷积核虽然可以覆盖较大的区域,但也意味着细小的特征可能被忽略掉。 EfficientNet 使用了 MBConv 模块(包含深度可分离卷积和注意力机制),这使得它在同样计算量下可以提取到更加多样化的特征,同时减少参数量。
多尺度特征的捕获: AlexNet 更像是在尽可能地快速压缩图像以提取高层次的特征,而不是关注多尺度特征。因此它可能无法很好地同时处理大尺度(全局结构)和小尺度(细节)的信息。 EfficientNet 则通过复合缩放,使得模型在每个层级上都能够关注到不同尺度的特征。例如,深度的增加可以更好地理解上下文,而宽度和分辨率的增加则可以保证细节的捕获。
计算效率和资源利用: AlexNet 设计时,并没有特别关注计算效率上的优化,主要考虑如何通过卷积层和全连接层组合,快速获取有效的特征。 EfficientNet 则采用了复合缩放和 MBConv 的结构,确保每一次计算都得到最大的特征提取效果,同时通过注意力机制(SE模块)进一步提升特征的有效性,使得计算资源得到了更好的利用。
总结
- AlexNet 的设计目标在于通过卷积和池化尽快提取到主要特征,通过大步幅和池化的方式减少计算量。它的设计相对直观,但可能会丢失细节信息,尤其是对于复杂的遥感图像或需要精细分割的任务时表现不足。EfficientNet-B5 通过均衡地增加深度、宽度和分辨率,结合 MBConv 和 注意力机制,使得模型在特征提取方面表现更加优秀。它的复合缩放使得每一个特征层次都可以被均衡处理,适合处理高分辨率、复杂场景的图像。例如在遥感地物提取任务中,EfficientNet-B5 可以非常高效地提取不同尺度的特征,结合解码器如 UNet++,实现高质量的像素级分割。这就是为什么 EfficientNet 可以更好地应用于如今的复杂视觉任务,而 AlexNet 作为早期的卷积神经网络,虽然奠定了基础,但在处理复杂和精细任务时表现力相对有限。
多尺度问题是怎么解决的?
————下面回答:EfficientNet-B5 编码器和UNet++ 解码器各自如何贡献于多尺度特征的提取和理解。
多尺度特征提取的本质是什么?
在遥感图像分割任务中,“多尺度特征提取”指的是模型能够从不同层次、不同分辨率的图像中获取信息,从而理解既有宏观的场景结构,也能精确识别细节特征,也就是说模型要能够同时捕获这些不同层次的信息,以实现对地物的精确分类与分割。。遥感图像中的地物有不同的尺度,例如:
- 宏观尺度:城市和乡村的分布、主要道路等,这些特征需要从整体上理解图像。
- 中观尺度:区域内部的分布关系,例如村落周边的水网或建筑群。
- 微观尺度:特定目标的纹理、颜色等细节,例如垃圾堆、陶瓷片、固废。
EfficientNet-B5 编码器的作用
- 从输入图像中提取多层次的特征:通过逐层卷积和池化,它能够提取不同层次的信息。在初始几层主要是提取图像的低层次特征,例如边缘、颜色、简单纹理这些浅层特征。随着网络逐渐变深,提取的特征也逐渐具有更高的语义层次,例如图像中的物体类别、大规模的形状、上下文关系等。
- 多尺度特征提取能力:EfficientNet 的深度、宽度和输入分辨率在 B5 的配置下得到了良好的平衡,这使得它可以捕捉从细节到整体的不同尺度的特征。例如:模型越深,越能够提取高语义层次的特征。宽度(卷积核变多)的增加使得模型可以同时关注多个特征,例如既能关注宏观的城乡分布,又能细致捕捉到其中的小目标。
因此,EfficientNet-B5 编码器的作用是从输入图像中提取出丰富的多尺度特征,并生成一系列具有不同分辨率和语义层次的特征图。EfficientNet 的逐步下采样帮助捕获宏观和细节信息,这些特征图是输入到解码器的基础数据。
UNet++ 解码器的作用
-
解码器结构与多尺度融合:在 UNet++ 中,解码器的任务是将从编码器获取到的特征图逐步上采样,使其恢复到原始输入图像的大小。UNet++ 解码器的特别之处在于它通过跳跃连接和密集连接的方式,使得编码器中每一层的特征图可以与解码器的上采样过程相结合。这样,解码器能够同时利用不同尺度的特征,既融合了高分辨率的细节信息,又利用了编码器中深层提取的宏观信息。
-
层次结构的逐步融合:UNet++ 的解码器部分可以看作是一个逐步“解压缩”特征的过程。在这一过程中,模型通过跳跃连接不断地将编码部分的特征传递到解码部分中,这样不同分辨率和语义层次的特征得到了良好的融合。 多层次的解码器:通过解码器的多层次上采样,模型能够逐渐恢复到原始输入图像的大小,而在每一个上采样步骤中,UNet++ 的密集连接使得模型不仅仅依赖于当前层的特征,还可以综合利用不同层次的特征图。(UNet++ 的多层跳跃连接(不同于原版 UNet 的单跳跃连接)
编码器与解码器如何配合进行多尺度特征提取?
- 编码器(EfficientNet-B5)负责从输入图像中提取多尺度特征。它的作用主要体现在特征提取的“广度和深度”上,即通过深层卷积得到高层次的特征,同时通过不同的网络宽度和分辨率的均衡,保证从细节到整体的全面信息。
- 解码器(UNet++)则负责将编码器中提取的这些多尺度特征整合、上采样并恢复到原始图像的大小。通过跳跃连接和密集连接,解码器可以综合考虑从浅层到深层的所有特征,以实现对地物的精确分割。
- 所以多尺度特征的提取和利用是编码器与解码器共同配合完成的,不能简单地归于某一个模块。这是一个合作的过程:EfficientNet-B5 编码器的贡献负责提取多尺度特征:EfficientNet-B5 从浅层到深层逐渐提取出图像的多层次特征,通过复合缩放的设计,它在特征提取的广度、深度上取得平衡,保证了特征的丰富性和表达能力,这些为解码器提供了高质量的输入。UNet++ 解码器的贡献在于:融合和恢复多尺度特征,解码器通过跳跃连接和上采样的过程,将编码器中提取到的不同尺度的特征融合起来,逐步恢复图像的原始分辨率,从而使得输出结果能够同时保留宏观和微观的信息。通过密集连接,解码器在融合特征的过程中可以基于具体任务进行“选择性关注”,比如在城乡差异较大的区域,模型会特别关注不同的特征。解码器的设计使得它在不同层级之间的特征融合上表现出色,特别是在遥感图像中的精细边界和细节的处理上。
注意力机制的引入
引入了注意力机制其实是为了解决模型对复杂背景中某些关键特征的“选择性关注”问题。它能够使模型在处理特征时,自动分配不同特征图的权重,强调重要特征,忽略不重要的部分。这对于遥感图像中的复杂场景非常有用,因为某些地物在宏观上可能看起来相似,但细节上存在显著差异,注意力机制可以帮助模型更好地区分这些细节。注意力机制通常可以作用于编码器或解码器的某些部分,帮助模型“选择”在特定的情况下应该更关注哪些特征。
深度学习主流架构对比表
1. 卷积神经网络 (CNN) 家族
| 架构类别 | 代表性模型 | 创新点 | 适用场景 |
|---|---|---|---|
| 经典卷积神经网络 (CNN) | AlexNet,VGG,GoogLeNet | 卷积和池化结合,全连接层用于分类 | 图像分类、特征提取 |
| 残差网络 (ResNet 家族) | ResNet,ResNeXt | 残差连接(跳跃连接)用于解决梯度消失问题,因此支持极深网络 | 图像分类、特征提取、目标检测 |
| 高效卷积网络 (EfficientNet 家族) | EfficientNet-B0 至 B7 | 复合缩放策略,均衡地增加宽度、深度、分辨率 | 图像分类、特征提取、迁移学习 |
| 目标检测网络 (基于 CNN) | YOLO ,Faster R-CNN,RetinaNet | YOLO:一阶段检测,高效实时; Faster R-CNN:区域建议结合目标检测 | 实时目标检测、目标识别 |
2. 编码器-解码器 (Encoder-Decoder) 架构
编码器部分用于特征提取,解码器用于逐步恢复特征图的分辨率。跳跃连接用于将浅层的特征与深层特征结合。语义分割、图像重建、超分辨率等需要像素级别的分类任务。
| 架构类别 | 代表性模型 | 创新点 | 适用场景 |
|---|---|---|---|
| UNet 家族 | UNet,UNet++, SegNet,DeepLabV3+ | 编码-解码结构,跳跃连接结合浅层和深层特征 | 语义分割、图像重建、医学图像处理 |
3. 注意力机制和 Transformer 类网络
自注意力机制的引入允许网络聚焦于输入中特别重要的部分,能够捕捉长距离依赖关系,适合处理具有复杂上下文关系的数据。适合图像分类、自然语言处理、多模态任务等。
| 架构类别 | 代表性模型 | 创新点 | 适用场景 |
|---|---|---|---|
| Transformer 和自注意力网络 | Transformer,ViT (Vision Transformer),SE-ResNet | 自注意力机制,捕捉特征之间的长距离依赖 | 自然语言处理、图像分类、多模态任务 |
4. 生成对抗网络 (GAN) 家族
使用生成器和判别器进行对抗训练,最终生成逼真的数据。 主要用途:图像生成、风格迁移、数据增强等。
| 架构类别 | 代表性模型 | 创新点 | 适用场景 |
|---|---|---|---|
| 生成对抗网络 (GAN 家族) | DCGAN,CycleGAN,StyleGAN | 生成器与判别器对抗训练,逼真地生成数据 | 图像生成、风格转换、图像超分辨率 |
5. 自编码器 (Autoencoder) 家族
通过自监督学习进行编码和解码,能够对输入数据进行压缩和重建。- 主要用于数据降维、特征学习、图像重建等。
| 架构类别 | 代表性模型 | 创新点 | 适用场景 |
|---|---|---|---|
| 自编码器 (Autoencoder) | VAE,Sparse Autoencoder | 编码器压缩特征,解码器重建输入,用于生成和重建 | 数据降维、特征学习、图像重建 |
深度学习主流架构类别对比
| 架构类别 | 代表性模型 | 核心特点 | 主要用途 | 特点和优缺点 |
|---|---|---|---|---|
| 经典卷积神经网络 (CNN) | AlexNet, VGG, GoogLeNet | 基于卷积、池化和全连接的层叠结构,用于逐层提取特征 | 图像分类、特征提取 | 特点:层叠卷积,特征提取能力强。 优点:易于理解和实现。 缺点:对细节的空间结构恢复能力弱,无法用于像素级任务。 |
| 残差网络 (ResNet 家族) | ResNet, ResNeXt | 使用残差块,通过跳跃连接解决梯度消失问题,允许训练极深的网络 | 图像分类、目标检测、特征提取 | 特点:残差块可以支持非常深的网络。 优点:深层次的特征提取,梯度流动顺畅。 缺点:计算复杂度较高,结构相对复杂。 |
| 基于注意力机制的网络 | Transformer, ViT, SE-ResNet | 加入自注意力或通道注意力机制,提升模型对重要特征的选择能力 | 图像分类、自然语言处理、特征选择 | 特点:关注图像中的关键区域,提高效率。 优点:灵活选择特征,擅长处理复杂背景。 缺点:需要大量计算资源,训练难度较大。 |
| EfficientNet 家族 | EfficientNet-B0 至 B7 | 使用复合缩放来均衡深度、宽度和分辨率,优化性能和计算量 | 图像分类、目标检测、特征提取 | 特点:高效性,通过超参数搜索找到最佳缩放方式。 优点:高效计算与高性能平衡。 缺点:超参数设计复杂,依赖自动化工具。 |
| 编码-解码架构 (UNet 家族) | UNet, UNet++, SegNet, DeepLabV3+ | 编码器-解码器结构,结合上下采样,适合像素级任务,带有跳跃连接 | 语义分割、图像重建 | 特点:编码器提取特征,解码器恢复空间分辨率。 优点:对空间细节和全局信息兼顾。 缺点:参数量大,训练计算资源需求高。 |
| 目标检测架构 (YOLO 家族、RCNN 家族) | YOLOv1-v8, Faster R-CNN, RetinaNet | 提出用于实时目标检测,将区域提取与分类结合 | 目标检测、物体定位 | 特点:一次性预测位置和类别 (YOLO) 或通过区域建议和分类结合(RCNN)。 优点:实时性好,适合检测多目标。 缺点:不同版本间性能、速度的折中有所不同。 |
| 生成对抗网络 (GAN 家族) | DCGAN, CycleGAN, StyleGAN | 使用生成器和判别器对抗训练,生成逼真图像 | 图像生成、数据增强、风格迁移 | 特点:生成器和判别器互相对抗,最终逼近真实分布。 优点:生成的图像细节真实,效果好。 缺点:训练不稳定,容易出现模式崩溃。 |
| 自编码器 (Autoencoder) | Variational Autoencoder (VAE), Sparse Autoencoder | 使用编码器压缩输入信息,解码器重建输入,能够生成压缩表示 | 图像重建、特征学习、数据降维 | 特点:通过自监督学习压缩并重建图像。 优点:特征学习能力强,应用广泛。 缺点:生成效果比 GAN 差,细节往往欠缺。 |
详细解释架构类别
1. 经典卷积神经网络 (CNN)
- 代表模型:AlexNet、VGG、GoogLeNet。通过卷积和池化层提取逐步抽象的特征,最终使用全连接层进行分类。每一层卷积提取越来越高层次的特征,池化降低空间分辨率。简单直观,易于理解和实现,但由于缺乏上采样过程,无法处理像素级的任务,适用于图像分类。
2. 残差网络 (ResNet 家族)
- 代表模型:ResNet、ResNeXt。通过残差块和跳跃连接解决了深度网络的梯度消失问题,允许训练更深的网络。残差连接帮助网络跳过部分层,从而减轻了网络训练的难度。适合极深的网络架构,能够提取非常复杂的特征,但计算复杂度和训练时间相对较大。
3. 基于注意力机制的网络
- 代表模型:Transformer、Vision Transformer (ViT)、SE-ResNet。基于注意力机制,网络能够选择性地关注输入中的重要部分,适合处理需要复杂上下文理解的任务。例如,Transformer 擅长处理序列数据,SE-ResNet 利用注意力机制在特征提取时分配不同权重。灵活且强大,但对计算资源要求较高,尤其是在处理大规模数据时。
4. EfficientNet 家族
- 代表模型:EfficientNet-B0 至 B7。通过复合缩放策略,在深度、宽度和输入分辨率之间找到最佳平衡,既能有效地提取特征,又能控制计算资源的使用。通过自动化的超参数搜索达到了计算效率和模型性能的平衡,但超参数的设计相对复杂,特别依赖自动化工具来找到最佳配置。
5. 编码-解码架构 (UNet 家族)
- 代表模型:UNet、UNet++、SegNet、DeepLabV3+。具有编码器-解码器结构,编码器负责提取特征,解码器通过上采样恢复空间分辨率,结合跳跃连接保持特征细节,适合需要精细空间信息的任务,如语义分割。对空间细节和全局信息有很好的处理能力,但训练资源需求大,参数量高。
6. 目标检测架构 (YOLO 家族、RCNN 家族)
- 代表模型:YOLO (v1 - v8)、Faster R-CNN、RetinaNet通过预测边界框和类别,实时检测目标。YOLO 家族模型擅长于将目标定位和分类结合,具有良好的实时性能,而 RCNN 家族则更适合精细检测。YOLO 系列的实时性好,但对小目标的精度可能有所欠缺,RCNN 系列在精度上优于 YOLO,但检测速度较慢。
7. 生成对抗网络 (GAN 家族)
- 代表模型:DCGAN、CycleGAN、StyleGAN。使用生成器和判别器对抗训练,生成逼真的数据(通常是图像)。生成器试图生成真实数据,判别器则试图辨别真实数据和生成数据之间的差异。生成效果非常好,可以生成高质量的图像,但训练过程不稳定,容易出现模式崩溃,调参复杂。
8. 自编码器 (Autoencoder)
- 代表模型:Variational Autoencoder (VAE)、Sparse Autoencoder通过自监督方式压缩输入数据,然后再进行解码重建,能够用于特征学习、数据降维和重建。能够学习数据的潜在表示,用于降维和数据特征的理解,但生成效果通常不如 GAN,特别是在复杂图像生成方面。
架构类别之间的比较
- CNN 类架构(如 AlexNet、VGG、EfficientNet):专注于图像分类任务,通过下采样特征提取,但不适合精细的像素级任务。编码器-解码器类架构(如 UNet、UNet++):专注于语义分割和图像重建,结合编码和解码,既提取特征又进行上采样以恢复分辨率,适合需要保留空间细节的任务。 目标检测架构(如 YOLO、Faster R-CNN):侧重于目标检测和定位,既包含特征提取又包含目标框回归,是分类和定位结合的架构。 生成对抗网络(GAN 家族):专注于生成任务,通过对抗训练生成逼真图像。 自编码器(Autoencoder):侧重于特征学习和数据重建,适合数据降维和生成,但生成质量不如 GAN。