基于 ConvNeXt 的城市交通图像分类系统:从四类场景识别到网页训练

0 阅读8分钟

本项目用 ConvNeXt-Tiny 把城市交通场景理解建模为四分类任务,覆盖交通事故、密集车流、火灾冒烟与稀疏车流四类。模型在 4400 张城市交通实拍图像上以迁移学习训练完成后,以 FastAPI 构建 Web 平台,把推理、统计与训练能力一起放进浏览器。

平台覆盖单图识别、批量识别与同图双权重对比三类输入,另提供识别历史、模型管理、网页模型训练与训练指标。网页训练可在页面配置 12 项超参数发起真实训练,训练中在线调整学习率、查看逐轮损失与 Macro F1 曲线,训练完成后把新权重直接切给识别使用。

图片识别页面:四分类结果与概率分布

二、数据说明

1. 数据构成

数据集 TrafficNet Dataset v1 按文件夹名称隐式标注,训练集与测试集目录各自包含四个类别子文件夹。验证集不单独存放,训练时按类别分层从训练集中划出 10% 作为验证集。

划分图像数量每类数量用途
训练集 train(含验证)3,601900 / 900 / 900 / 901模型训练与数据增强
其中验证集 val360约 90(分层抽取)轮次验证与最优权重选择
实际训练样本3,240约 810梯度更新
测试集 test800200 / 200 / 200 / 200最终指标评估(仅评估一次)
合计4,400——

2. 四个类别

文件夹中文名称典型场景特征训练测试
accident交通事故车辆碰撞、翻覆、严重损伤,现场有围观或救援900200
dense_traffic密集车流道路拥堵,车辆排队,连续行驶或停滞900200
fire火灾/冒烟车辆或设施起火,火焰与浓烟,常伴随消防响应900200
sparse_traffic稀疏车流道路畅通或车辆稀少,如收费站、空旷路段901200

四类样本数量基本一致,无需额外类别平衡。图像为缩略图级别,常见分辨率约 300 × 168 px,视角覆盖白天与夜间、城市与郊区。类别间主要靠局部特征(事故损伤、火焰形态、烟雾纹理)与全局特征(车流密度、道路布局、整体光照)共同区分。易混淆对为 accident 与 fire,以及 dense_traffic 与 sparse_traffic。

数据集四类真实样本对照

3. 数据增强

  • 训练集:RandomResizedCrop(224, scale=0.7~1.0)、随机水平翻转、ColorJitter(0.2)、ImageNet 均值方差归一化。
  • 验证与测试集:等比缩放至 236 后中心裁剪到 224,同样使用 ImageNet 均值方差归一化。

三、模型训练与结果

1. 训练配置

  • 主干为 torchvision 官方 ConvNeXt-Tiny,替换分类头为 4 类线性层,加载 ImageNet 预训练权重做迁移学习。
  • 训练 100 轮,batch 32,输入 224 × 224,AdamW(学习率 5e-4、权重衰减 0.05)。
  • 学习率 5 轮线性 Warmup 后余弦衰减至 0,标签平滑 0.1,梯度裁剪 1.0。
  • CUDA 下启用混合精度,数据加载 4 个 worker,随机种子 42,单卡 GPU 完成 100 轮。
  • 以验证集 Macro F1 为选优指标保存 best.pth,每轮同步更新 last.pth。

2. 最终指标

最优权重在独立测试集(800 张)上仅评估一次,结果如下。

指标测试集数值
Accuracy93.00%
Macro Precision93.45%
Macro Recall93.00%
Macro F193.09%
Test Loss0.4864
类别PrecisionRecallF1样本数
accident90.82%94.00%92.38%200
dense_traffic98.90%90.00%94.24%200
fire98.94%93.50%96.14%200
sparse_traffic85.14%94.50%89.57%200

验证侧,最佳验证 Macro F1 为 0.9695,出现在第 2 轮并作为 best.pth 的选优依据;末轮(第 100 轮)验证 Macro F1 为 0.9498。训练损失从首轮 0.5450 降至末轮 0.3509,验证损失首轮 0.4367、末轮 0.4949,后期在 0.45 至 0.52 之间波动。峰值与末轮分别列出,不把不同轮次的数字拼成同一轮表现。

逐类别看,sparse_traffic 的 F1 最低(89.57%),主要被误判为 dense_traffic;fire 的 F1 最高(96.14%)。这与两类特征差异一致:车流密度需要全局判断,而火焰与烟雾在局部纹理上更显著。

3. 混淆矩阵

用最优权重对测试集 800 张逐张推理统计的真实计数矩阵,对角线之和 744,与 93.00% 的准确率一致。

测试集混淆矩阵

按行归一化混淆矩阵

4. 训练产物曲线

损失、准确率、Macro F1 与学习率总览

训练与验证损失曲线

Macro F1 曲线

四、系统功能设计

1. 登录与注册

登录与注册共用同一入口,账号注册后可立即登录使用。密码以 PBKDF2 加盐哈希保存,会话通过 HttpOnly Cookie 维持,未登录访问接口直接返回 401。

登录页面

2. 系统概览

汇总本账号累计识别量、平均置信度、测试准确率与 Macro F1,给出类别识别分布、最近识别记录、测试集逐类别表现与近七日识别趋势,并展示当前权重、推理设备、输入尺寸与任务状态。

系统概览页面

3. 图片识别

拖拽或选择单张图片后执行真实推理,输出预测类别、置信度、次高类别与两者差值、推理耗时,并以条形图与柱状图并列呈现四类 Softmax 概率,结果可导出 CSV 并自动写入识别历史。

图片识别:四分类结果与概率分布

4. 批量识别

单次提交 50 张以内的图片或整个文件夹,任务在后台逐张推理,页面实时回写进度与已处理数量;完成后汇总类别分布、平均置信度与失败文件,并逐张列出预测类别、置信度与耗时,结果可打包为 ZIP 下载。

批量识别:进度、类别分布与逐张结果

5. 识别历史

按单张与批量分类筛选,支持按文件名或中文类别检索;可查看任一条记录的概率明细与原图,支持删除单条、按类型清空与导出 CSV。

识别历史:记录列表与筛选

6. 模型管理

列出原始训练权重、最后一轮权重与网页训练产生的权重,切换后重新加载并回读类别、设备与轮次;推理设备可选自动、CUDA 或 CPU,CUDA 不可用时自动回落到 CPU。

模型管理:权重列表与推理配置

7. 模型对比

任选两个权重,对同一张图片依次推理并逐类对照概率与差值,标出较高一方,用于核对最优权重与末轮权重的判断差异。

模型对比:双权重同图概率对照

8. 模型训练

页面配置训练轮数、批大小、输入尺寸、初始学习率、权重衰减、Warmup、标签平滑、梯度裁剪、验证比例、数据加载进程、随机种子与训练设备后发起真实训练,训练进程独立运行;训练中同步显示进度、逐轮损失与 Macro F1 曲线和训练日志,可提交新的学习率(下一轮生效),可安全停止,完成后可下载训练产物与 best.pth,或直接把新权重设为当前识别模型。

模型训练:配置、实时曲线、控制与日志

9. 训练指标

读取训练产物中的 history.csv、test_metrics.json 与 classification_report.csv,动态绘制损失、准确率、精确率、召回率与 Macro F1 五条曲线(可切换),标注最佳验证轮次;同时展示测试指标、逐类别表现、混淆矩阵热力图与训练配置快照。

训练指标:曲线、混淆矩阵与逐类别表现

五、技术栈

类别技术用途
编程语言Python、JavaScript后端服务与前端页面
模型与框架ConvNeXt-Tiny / PyTorch、torchvision四类交通场景分类的训练与推理
Web 服务FastAPI、Uvicorn接口服务、鉴权、批量任务与训练调度
Web 前端原生模块化 JS、CSS八个页面与交互逻辑
图像处理Pillow图像解码、尺寸读取与统一预处理
指标计算scikit-learn逐轮与测试集分类指标、分类报告
数据可视化Canvas 自绘图表概率分布、类别分布、训练曲线与混淆矩阵
数据存储SQLite、JSON账号、会话、识别历史与运行配置
训练任务子进程 + 状态文件训练隔离执行、进度回写、在线调参与安全停止

六、项目结构

项目根目录/
├── trafficnet_dataset_v1/         # 数据集,train 与 test 按类别分文件夹
├── train_result/convnext_tiny/    # 原始训练产物:权重、日志、指标与曲线
├── trafficnet/                    # 训练核心:模型、数据、引擎、训练编排、报告
├── trafficnet_ui/                 # PyQt6 桌面端,独立保留
├── app_data/                      # 桌面端用户、历史与设置
├── train.py                       # 原始训练命令行入口
├── main.py                        # 桌面端启动入口
└── web/                           # Web 识别与训练平台
    ├── run.py                     # 服务启动入口,含依赖检查与端口探测
    ├── 一键启动.bat
    ├── requirements.txt
    ├── backend/                   # 配置、存储、推理、训练、指标与接口
    ├── frontend/                  # 页面入口、样式、图表与八个页面模块
    └── data/                      # 运行数据:数据库、上传媒体、训练目录

七、运行说明

1. 安装依赖

pip install -r web/requirements.txt

2. 启动 Web 平台

双击 web/一键启动.bat
rem 或在该目录执行
python run.py

服务默认监听本机 8130 端口,重复启动会提示当前项目已启动;端口被其他程序占用时只提示、不擅自结束进程。启动脚本会按顺序探测可用的 Python 环境,确认 FastAPI、Uvicorn 与 PyTorch 齐备后才启动,不升级 PyTorch 或 CUDA。

3. 默认账号

初始管理员账号为 admin,首次启动时自动创建,密码以 PBKDF2 加盐哈希保存在 web/data/c301.sqlite3 中,页面不展示默认密码。

4. 网页训练与桌面端

训练建议直接在模型训练页发起,超参数、学习率调整、停止与权重应用都在页面完成,训练产物保存在 web/data/runs 下,不覆盖项目原有的 train_result/convnext_tiny。桌面端仍可用 python main.py 启动;命令行复现原始训练可执行 python train.py,参数与网页默认值一致。

项目详情页:michael-jay.pages.dev/projects/pr…