本项目用 ConvNeXt-Tiny 把城市交通场景理解建模为四分类任务,覆盖交通事故、密集车流、火灾冒烟与稀疏车流四类。模型在 4400 张城市交通实拍图像上以迁移学习训练完成后,以 FastAPI 构建 Web 平台,把推理、统计与训练能力一起放进浏览器。
平台覆盖单图识别、批量识别与同图双权重对比三类输入,另提供识别历史、模型管理、网页模型训练与训练指标。网页训练可在页面配置 12 项超参数发起真实训练,训练中在线调整学习率、查看逐轮损失与 Macro F1 曲线,训练完成后把新权重直接切给识别使用。
二、数据说明
1. 数据构成
数据集 TrafficNet Dataset v1 按文件夹名称隐式标注,训练集与测试集目录各自包含四个类别子文件夹。验证集不单独存放,训练时按类别分层从训练集中划出 10% 作为验证集。
| 划分 | 图像数量 | 每类数量 | 用途 |
|---|---|---|---|
| 训练集 train(含验证) | 3,601 | 900 / 900 / 900 / 901 | 模型训练与数据增强 |
| 其中验证集 val | 360 | 约 90(分层抽取) | 轮次验证与最优权重选择 |
| 实际训练样本 | 3,240 | 约 810 | 梯度更新 |
| 测试集 test | 800 | 200 / 200 / 200 / 200 | 最终指标评估(仅评估一次) |
| 合计 | 4,400 | — | — |
2. 四个类别
| 文件夹 | 中文名称 | 典型场景特征 | 训练 | 测试 |
|---|---|---|---|---|
| accident | 交通事故 | 车辆碰撞、翻覆、严重损伤,现场有围观或救援 | 900 | 200 |
| dense_traffic | 密集车流 | 道路拥堵,车辆排队,连续行驶或停滞 | 900 | 200 |
| fire | 火灾/冒烟 | 车辆或设施起火,火焰与浓烟,常伴随消防响应 | 900 | 200 |
| sparse_traffic | 稀疏车流 | 道路畅通或车辆稀少,如收费站、空旷路段 | 901 | 200 |
四类样本数量基本一致,无需额外类别平衡。图像为缩略图级别,常见分辨率约 300 × 168 px,视角覆盖白天与夜间、城市与郊区。类别间主要靠局部特征(事故损伤、火焰形态、烟雾纹理)与全局特征(车流密度、道路布局、整体光照)共同区分。易混淆对为 accident 与 fire,以及 dense_traffic 与 sparse_traffic。
3. 数据增强
- 训练集:RandomResizedCrop(224, scale=0.7~1.0)、随机水平翻转、ColorJitter(0.2)、ImageNet 均值方差归一化。
- 验证与测试集:等比缩放至 236 后中心裁剪到 224,同样使用 ImageNet 均值方差归一化。
三、模型训练与结果
1. 训练配置
- 主干为 torchvision 官方 ConvNeXt-Tiny,替换分类头为 4 类线性层,加载 ImageNet 预训练权重做迁移学习。
- 训练 100 轮,batch 32,输入 224 × 224,AdamW(学习率 5e-4、权重衰减 0.05)。
- 学习率 5 轮线性 Warmup 后余弦衰减至 0,标签平滑 0.1,梯度裁剪 1.0。
- CUDA 下启用混合精度,数据加载 4 个 worker,随机种子 42,单卡 GPU 完成 100 轮。
- 以验证集 Macro F1 为选优指标保存 best.pth,每轮同步更新 last.pth。
2. 最终指标
最优权重在独立测试集(800 张)上仅评估一次,结果如下。
| 指标 | 测试集数值 |
|---|---|
| Accuracy | 93.00% |
| Macro Precision | 93.45% |
| Macro Recall | 93.00% |
| Macro F1 | 93.09% |
| Test Loss | 0.4864 |
| 类别 | Precision | Recall | F1 | 样本数 |
|---|---|---|---|---|
| accident | 90.82% | 94.00% | 92.38% | 200 |
| dense_traffic | 98.90% | 90.00% | 94.24% | 200 |
| fire | 98.94% | 93.50% | 96.14% | 200 |
| sparse_traffic | 85.14% | 94.50% | 89.57% | 200 |
验证侧,最佳验证 Macro F1 为 0.9695,出现在第 2 轮并作为 best.pth 的选优依据;末轮(第 100 轮)验证 Macro F1 为 0.9498。训练损失从首轮 0.5450 降至末轮 0.3509,验证损失首轮 0.4367、末轮 0.4949,后期在 0.45 至 0.52 之间波动。峰值与末轮分别列出,不把不同轮次的数字拼成同一轮表现。
逐类别看,sparse_traffic 的 F1 最低(89.57%),主要被误判为 dense_traffic;fire 的 F1 最高(96.14%)。这与两类特征差异一致:车流密度需要全局判断,而火焰与烟雾在局部纹理上更显著。
3. 混淆矩阵
用最优权重对测试集 800 张逐张推理统计的真实计数矩阵,对角线之和 744,与 93.00% 的准确率一致。
4. 训练产物曲线
四、系统功能设计
1. 登录与注册
登录与注册共用同一入口,账号注册后可立即登录使用。密码以 PBKDF2 加盐哈希保存,会话通过 HttpOnly Cookie 维持,未登录访问接口直接返回 401。
2. 系统概览
汇总本账号累计识别量、平均置信度、测试准确率与 Macro F1,给出类别识别分布、最近识别记录、测试集逐类别表现与近七日识别趋势,并展示当前权重、推理设备、输入尺寸与任务状态。
3. 图片识别
拖拽或选择单张图片后执行真实推理,输出预测类别、置信度、次高类别与两者差值、推理耗时,并以条形图与柱状图并列呈现四类 Softmax 概率,结果可导出 CSV 并自动写入识别历史。
4. 批量识别
单次提交 50 张以内的图片或整个文件夹,任务在后台逐张推理,页面实时回写进度与已处理数量;完成后汇总类别分布、平均置信度与失败文件,并逐张列出预测类别、置信度与耗时,结果可打包为 ZIP 下载。
5. 识别历史
按单张与批量分类筛选,支持按文件名或中文类别检索;可查看任一条记录的概率明细与原图,支持删除单条、按类型清空与导出 CSV。
6. 模型管理
列出原始训练权重、最后一轮权重与网页训练产生的权重,切换后重新加载并回读类别、设备与轮次;推理设备可选自动、CUDA 或 CPU,CUDA 不可用时自动回落到 CPU。
7. 模型对比
任选两个权重,对同一张图片依次推理并逐类对照概率与差值,标出较高一方,用于核对最优权重与末轮权重的判断差异。
8. 模型训练
页面配置训练轮数、批大小、输入尺寸、初始学习率、权重衰减、Warmup、标签平滑、梯度裁剪、验证比例、数据加载进程、随机种子与训练设备后发起真实训练,训练进程独立运行;训练中同步显示进度、逐轮损失与 Macro F1 曲线和训练日志,可提交新的学习率(下一轮生效),可安全停止,完成后可下载训练产物与 best.pth,或直接把新权重设为当前识别模型。
9. 训练指标
读取训练产物中的 history.csv、test_metrics.json 与 classification_report.csv,动态绘制损失、准确率、精确率、召回率与 Macro F1 五条曲线(可切换),标注最佳验证轮次;同时展示测试指标、逐类别表现、混淆矩阵热力图与训练配置快照。
五、技术栈
| 类别 | 技术 | 用途 |
|---|---|---|
| 编程语言 | Python、JavaScript | 后端服务与前端页面 |
| 模型与框架 | ConvNeXt-Tiny / PyTorch、torchvision | 四类交通场景分类的训练与推理 |
| Web 服务 | FastAPI、Uvicorn | 接口服务、鉴权、批量任务与训练调度 |
| Web 前端 | 原生模块化 JS、CSS | 八个页面与交互逻辑 |
| 图像处理 | Pillow | 图像解码、尺寸读取与统一预处理 |
| 指标计算 | scikit-learn | 逐轮与测试集分类指标、分类报告 |
| 数据可视化 | Canvas 自绘图表 | 概率分布、类别分布、训练曲线与混淆矩阵 |
| 数据存储 | SQLite、JSON | 账号、会话、识别历史与运行配置 |
| 训练任务 | 子进程 + 状态文件 | 训练隔离执行、进度回写、在线调参与安全停止 |
六、项目结构
项目根目录/
├── trafficnet_dataset_v1/ # 数据集,train 与 test 按类别分文件夹
├── train_result/convnext_tiny/ # 原始训练产物:权重、日志、指标与曲线
├── trafficnet/ # 训练核心:模型、数据、引擎、训练编排、报告
├── trafficnet_ui/ # PyQt6 桌面端,独立保留
├── app_data/ # 桌面端用户、历史与设置
├── train.py # 原始训练命令行入口
├── main.py # 桌面端启动入口
└── web/ # Web 识别与训练平台
├── run.py # 服务启动入口,含依赖检查与端口探测
├── 一键启动.bat
├── requirements.txt
├── backend/ # 配置、存储、推理、训练、指标与接口
├── frontend/ # 页面入口、样式、图表与八个页面模块
└── data/ # 运行数据:数据库、上传媒体、训练目录
七、运行说明
1. 安装依赖
pip install -r web/requirements.txt
2. 启动 Web 平台
双击 web/一键启动.bat
rem 或在该目录执行
python run.py
服务默认监听本机 8130 端口,重复启动会提示当前项目已启动;端口被其他程序占用时只提示、不擅自结束进程。启动脚本会按顺序探测可用的 Python 环境,确认 FastAPI、Uvicorn 与 PyTorch 齐备后才启动,不升级 PyTorch 或 CUDA。
3. 默认账号
初始管理员账号为 admin,首次启动时自动创建,密码以 PBKDF2 加盐哈希保存在 web/data/c301.sqlite3 中,页面不展示默认密码。
4. 网页训练与桌面端
训练建议直接在模型训练页发起,超参数、学习率调整、停止与权重应用都在页面完成,训练产物保存在 web/data/runs 下,不覆盖项目原有的 train_result/convnext_tiny。桌面端仍可用 python main.py 启动;命令行复现原始训练可执行 python train.py,参数与网页默认值一致。