Task Version Image Dispose
人工智能机器学习项目中训练视觉模型过程中 不是每个公司都有预算去找专业公司收集，价格不菲沟通成本也高；特别是前期技术预研，验证阶段的数据更是要自己收集,找到足够多的数据去训练模型比较具有挑战性。首先，需要确认使用的图像或文本有没版权限制。为了避免版权问题，我们可以自己制作数据，也可以去Kaggle寻找数据集。
PreView
以计算机视觉为核心功能的应用程序必须提供图像训练数据集训练出特定的模型，收集训练图片打标签可以说是整个步骤最麻烦的，工作量大而琐碎；好的数据才能训练出好的模型，垃圾数据一定只能训练出垃圾模型。
下面是图像识别模型训练的基本步骤：
- 数据准备：准备一组包含不同类别的图片数据集，可以通过网络爬取、手工收集等方式获得。这些图片应该尽量具有代表性，能够反映出各个类别的特征。
- 数据清洗：对数据进行清洗、去噪、标注等操作，以保证数据的质量和准确性。同时还可以对数据进行预处理，例如裁剪、缩放、旋转等操作，以提高模型的泛化能力。
- 特征提取：从图像中提取出有用的特征，例如边缘、纹理、颜色等特征。这些特征可以通过人工设计或者卷积神经网络等方法获得。
- 模型训练：选择合适的机器学习算法和模型结构，对数据集进行训练。训练的过程需要选择合适的优化器、学习率、损失函数等参数，并对模型进行调参和优化，以提高模型的性能和泛化能力。模型的泛化能力和鲁棒性
- 模型评估：对训练出来的模型进行评估，评估指标包括准确率、精度、召回率等。如果评估结果不理想，需要对模型进行调整和优化。
- 模型部署：将训练好的模型部署到实际应用中，进行预测和分类等操作。
数据集介绍
本系统使用的数据集手动标注8 个类别，数据集总计1044张图片。该数据集中类别都有大量的旋转和不同的光照条件，有助于训练出更加鲁棒的检测模型。本文实验的汽车自行车检测识别数据集包含训练集819张图片，验证集225张图片，选取部分数据部分样本数据集如下图所示。
此外，为了增强模型的泛化能力和鲁棒性，我们还使用了数据增强技术，包括随机旋转、缩放、裁剪和颜色变换等，以扩充数据集并减少过拟合风险。
训练图片的几个基本要求
- 图片不用过大但是也不能太小，太大加大存储&内存负担，太小细节不清晰，暂定720P ~ 1080P
- 目标物体占比不能太小，比如1080P 的图目标物体只有300*300 不合适。最好占比1/3 到 1/2
- 图片中目标物轮廓清晰可见，无遮挡 无噪杂背景
- 数据增强技术，包括随机旋转、缩放、裁剪和颜色变换等，以扩充数据集并减少过拟合风险（zlb）
- 获取到的图片可能存在一些噪声或不相关内容，需要进行数据清洗和标注（zlb）
清洗图片区分训练集和验证集中的图片
一般的收集完的图合规的在50% 以下，训练图每种类型暂需100～200 张。剩余不合格的单独建立文件夹可以用来做验证和测试用
- 训练集 train
- 验证集 validation
- 测试集 test
下面是合格的图
下面是不合格的图
