MobileViT实现垃圾分类

全网微信同名_python哥
216 阅读11分钟

更多项目完整介绍资料，演示视频，数千个计算机毕设计成品项目，百度搜：毕设库。 如果你想要完整项目资料包，点击这里下载： pan.baidu.com/s/1-vA1Gce4…

项目源码获取方式见文章末尾！ 600多个深度学习项目资料，快来加入社群一起学习吧。

《------往期经典推荐------》

项目名称 1.【SE-Net模型实现猴痘病识别】 2.【卫星图像道路检测DeepLabV3Plus模型】 3.【GAN模型实现二次元头像生成】 4.【CNN模型实现mnist手写数字识别】 5.【fasterRCNN模型实现飞机类目标检测】 6.【CNN-LSTM住宅用电量预测】 7.【VGG16模型实现新冠肺炎图片多分类】 8.【AlexNet模型实现鸟类识别】 9.【DIN模型实现推荐算法】 10.【FiBiNET模型实现推荐算法】 11.【钢板表面缺陷检测基于HRNET模型】 …

1. 项目简介

本项目的目标是基于MobileViT模型实现垃圾分类，旨在开发一种轻量化、性能优越的图像分类解决方案，能够在资源有限的移动设备上高效运行。随着全球对环境保护意识的提高，垃圾分类作为一项重要的环保措施逐渐普及，而准确的垃圾分类可以有效提高资源的回收利用率，减少环境污染。在此背景下，本项目通过结合深度学习技术，采用MobileViT（Mobile Vision Transformer）模型进行垃圾图片的分类任务。MobileViT是一种将卷积神经网络（CNN）与Transformer架构相结合的轻量化模型，既能够保持卷积网络的局部特征提取能力，又能利用Transformer的全局依赖建模能力，使得其在计算量小的前提下仍然具备较高的准确率和强大的分类能力。通过该项目，我们可以进一步验证MobileViT在垃圾分类场景中的应用潜力，并为在低算力设备上的推理任务提供高效解决方案。

在这里插入图片描述

2.技术创新点摘要

轻量级Transformer与卷积的结合：该项目采用了MobileViT（Mobile Vision Transformer）模型，这是一种将传统的卷积神经网络（CNN）与Transformer架构相结合的轻量化模型。与其他深度学习模型相比，MobileViT在保持较小模型规模和较低计算需求的前提下，具备良好的图像分类能力。通过卷积提取局部特征并结合Transformer进行全局特征建模，MobileViT模型实现了在移动设备上高效运行的创新设计，这大大增强了在资源受限环境下的实际应用场景。

模块化设计和灵活性：项目代码中引入了多个MobileViT模型的变种，包括mobilevit_xxs、mobilevit_xs和mobilevit_s等不同大小的模型变体。这种模块化设计使得用户可以根据实际需求选择适合的模型，权衡精度与计算资源，进一步增强了应用的灵活性。

基于PaddlePaddle框架的优化器设计：该项目使用了PaddlePaddle框架，并设计了一个自定义的回调函数SaveBestModel，能够在每个训练周期结束时，基于模型的准确率判断是否保存模型。这种设计保证了模型的最优状态能够被自动捕捉，从而提高了模型训练效率。

可视化与模型验证：项目中提供了模型训练过程的可视化功能，并通过VisualDL等回调函数对训练过程进行监控与记录。这种实时可视化的功能，能够帮助用户及时了解模型性能，便于调试和优化。

3. 数据集与预处理

本项目中，使用的垃圾分类数据集包含多个垃圾类别，如纸张、塑料、金属、玻璃等。该数据集的主要特点是多样性和复杂性，图片的光照、角度、背景等因素存在较大变化，要求模型能够在不同的场景下正确分类垃圾类型。数据集中包含大量的训练集、验证集和测试集，用于模型训练、评估和最终测试。

数据预处理流程包括以下几步：

  1. 图像尺寸调整：由于MobileViT模型需要固定尺寸的输入，因此所有图像都会在加载时被统一调整为特定尺寸（例如256x256）。这一步骤确保模型能够在输入不同分辨率的图片时保持一致性。

  2. 归一化：对输入图像进行归一化处理是深度学习中常见的操作，主要目的是将图像的像素值从0-255范围缩放到[0,1]或[-1,1]的范围内，这有助于加速模型的训练收敛速度并提高模型的稳定性。

  3. 数据增强：为了提高模型的泛化能力，项目中使用了多种数据增强技术。包括随机裁剪、水平翻转、旋转、亮度和对比度调整等操作。数据增强通过人为增加数据的多样性，模拟不同拍摄条件下的情况，进而提升模型在实际应用中的表现能力。

  4. 特征工程：由于MobileViT本身通过卷积层和Transformer结构结合的方式进行特征提取，因此在数据预处理阶段并未进行复杂的特征工程操作。通过上述的归一化和数据增强步骤，模型就能够充分利用数据中的信息。

4. 模型架构

模型结构的逻辑： 本项目基于MobileViT模型，其架构结合了卷积神经网络（CNN）和Transformer的优点。模型首先通过多层卷积提取局部特征，每个卷积层通过1x1和n×n大小的卷积核实现特征的提取和压缩。然后，在特定阶段，模型引入Transformer模块，通过自注意力机制进一步处理特征，捕捉全局依赖性。关键部分包括：

  • 卷积层：负责低级别特征的提取，处理图像中的边缘、纹理等信息。
  • Transformer层：用于高层次语义信息建模，能捕获输入图片全局的长程依赖关系。
  • 前馈网络（FeedForward） ：用于对Transformer提取的特征进行线性转换和非线性激活，增强模型的表达能力。
  • Layer Normalization：在自注意力和前馈层之间，模型使用归一化操作，以保证梯度稳定性并加速训练过程。

MobileViT通过轻量化的设计，减少了模型的参数量和计算复杂度，使其适用于移动设备上的计算任务。

模型的整体训练流程与评估指标：

  • 训练流程：训练使用PaddlePaddle框架，模型的优化器采用带动量的梯度下降（Momentum）优化算法，结合了余弦退火学习率调度器（CosineAnnealingDecay）和L2正则化，以避免过拟合。模型准备阶段会指定损失函数为交叉熵损失（CrossEntropyLoss），并使用Accuracy作为评估指标。训练过程中每个epoch结束后，模型通过回调函数保存当前最优的模型权重。

  • 数据加载与批次处理：数据通过DataLoader加载，并在每个epoch中以批次的方式送入模型进行训练，模型在每一轮训练后都会在验证集上进行评估。

  • 评估指标：主要的评估指标是准确率（Accuracy）。每个epoch结束后，评估模型在验证集上的准确率，如果该轮准确率超过之前的最优值，模型将保存最佳状态。此外，通过可视化工具（VisualDL）对训练过程进行实时监控，查看损失值和准确率的变化趋势，便于进一步优化。

5. 核心代码详细讲解

1. 数据集划分与预处理

python

复制代码

def data_set_split(src_data_folder, target_data_folder, train_scale=0.8, val_scale=0.1, test_scale=0.1): `` class_names = os.listdir(src_data_folder) `` split_names = ['train', 'val', 'test']for split_name in split_names: `` split_path = os.path.join(target_data_folder, split_name)if not os.path.isdir(split_path): `` os.mkdir(split_path)for class_name in class_names: `` class_split_path = os.path.join(split_path, class_name)if not os.path.isdir(class_split_path): ``os.mkdir(class_split_path)

解释：

  • 该函数实现了数据集的划分，包括训练集、验证集和测试集。首先通过os.listdir获取原始数据集中的类别名称，然后创建train、val、test三个文件夹。
  • 通过逐类创建子文件夹，分别将各类垃圾图片复制到对应的训练、验证或测试集子文件夹中。

python

复制代码

current_all_data = os.listdir(current_class_data_path) ``random.shuffle(current_data_index_list)

解释：

  • 获取当前类别下所有数据并随机打乱索引，以确保数据划分的随机性，避免模型在特定数据模式下过拟合。

2. 图像预处理与加载

python

复制代码

def load_image(img_path): `` img = Image.open(img_path)if img.mode != 'RGB': `` img = img.convert('RGB') `` img = img.resize((256, 256), Image.BILINEAR) `` img = np.array(img).astype('float32') ``img = img.transpose((2, 0, 1)) / 255 # HWC to CHW 及归一化return img

解释：

  • 该函数用于将输入图像加载为模型可接受的格式。首先通过Image.open加载图像并确保图像为RGB模式，然后将图像调整为256x256像素的固定大小。
  • 图像被转换为numpy数组，并进行维度转换，从(HWC)转为(CHW)格式，同时将像素值归一化到[0,1]范围内，以适应神经网络的输入需求。

3. MobileViT模型构建

python

复制代码

class PreNorm(nn.Layer):def init(self, axis, fn):super(). `` __init__ `` () `` self.norm = nn.LayerNorm(axis) `` self.fn = fn ``def forward(self, x, **kwargs):return self.fn(self.norm(x), **kwargs)

解释：

  • PreNorm类是MobileViT架构中的基础模块之一。其目的是在将输入送入某些关键层（如自注意力机制或前馈层）之前，对其进行LayerNorm归一化处理。这有助于加速训练并提高模型的稳定性。

python

复制代码

class FeedForward(nn.Layer):def init(self, axis, hidden_axis, dropout=0.):super(). `` __init__ `` () ````self.net`` = nn.Sequential( `` nn.Linear(axis, hidden_axis), `` nn.Silu(), `` nn.Dropout(dropout), `` nn.Linear(hidden_axis, axis), `` nn.Dropout(dropout) `` ) `` def forward(self, x):return ``self.net``(x)

解释：

  • FeedForward模块用于实现前馈神经网络的层次结构。通过两个线性变换和非线性激活（Silu），它能够进一步处理特征并增强模型的表达能力。Dropout则用于防止过拟合。

4. 模型训练与评估

python

复制代码

model.prepare(optimizer, `` paddle.nn.CrossEntropyLoss(), ``paddle.metric.Accuracy())

解释：

  • prepare函数用于配置模型的训练过程，指定使用的优化器（Momentum优化器）、损失函数（交叉熵）以及评估指标（准确率）。这一步骤确保了训练流程中正确的损失计算和评估机制。

python

复制代码

model.fit(train_loader, `` eval_loader, `` epochs=50, `` batch_size=64, `` callbacks=callbacks, ``verbose=1)

解释：

  • fit函数负责启动模型训练，设定训练周期为50个epoch，并设置批量大小为64。callbacks包含用于保存最佳模型的回调函数SaveBestModel，以及用于记录训练过程的VisualDL，提供了完整的训练监控和日志功能。

5. 模型评估与预测

python

复制代码

for _, data in enumerate(eval_loader()): `` x_data = data[0] `` y_data = data[1] `` predicts = model_eval(x_data) `` acc = paddle.metric.accuracy(predicts, y_data) ``accs.append(acc.numpy()[0]) print('模型在验证集上的准确率为：', np.mean(accs))

解释：

  • 在评估过程中，模型使用验证集数据进行预测，并计算每个批次的预测准确率。最终输出整个验证集的平均准确率，为模型性能提供反馈。

6. 模型优缺点评价

模型优点：

  1. 轻量化设计：MobileViT结合了卷积神经网络（CNN）与Transformer架构的优势，在保持较小参数量的同时，实现了较高的分类精度。这使得模型能够在资源受限的设备上高效运行，适用于移动端的垃圾分类任务。
  2. 局部与全局特征提取能力：通过卷积层提取局部特征并使用Transformer捕捉全局依赖性，MobileViT模型能够在处理复杂背景和多样场景下依旧具有出色的表现。
  3. 泛化能力强：通过数据增强技术（如翻转、裁剪等），模型的泛化能力得到了增强，能够应对不同光照和角度变化的数据。

模型缺点：

  1. 训练时间较长：由于Transformer部分的计算复杂度较高，训练时间相比传统卷积模型如MobileNet等稍长，特别是在没有高性能硬件支持的情况下，可能成为瓶颈。
  2. 对数据依赖大：虽然模型泛化能力较好，但其性能在很大程度上依赖于训练数据的质量和多样性。如果数据集不够丰富或标注不准确，模型的表现可能下降。
  3. 优化难度高：由于模型结构较为复杂，包含多层卷积和Transformer模块，调参难度较高，特别是在超参数调整方面，如学习率、权重衰减等，可能需要多次实验才能找到最佳配置。

改进方向：

  1. 模型结构优化：可以尝试引入其他轻量化模块，如深度可分离卷积（Depthwise Separable Convolution），进一步降低计算量，提升运行速度。
  2. 超参数调整：可以进一步调优学习率调度策略（如余弦退火、Warmup等），以及权重衰减和Dropout参数，以提高模型训练的稳定性和收敛速度。

全部项目数据集、代码、教程点击下方名片↓

avatar
文章
阅读
粉丝