技术不重要,而是思想。
原则:让训练集与测试集更接近
关于名称: 数据增强、数据扩增、数据增广 都是他。
方法分类: 空间位置:如平移 色彩:如灰度图、色彩抖动 形状:如仿射变换 上下文场景:如遮挡、填充
具体方法: 数据中心化 数据标准化 缩放 裁剪 旋转 翻转 填充 噪声添加 灰度变换 线性变换 仿射变换 亮度、饱和度及对比度变换
在深度学习模型的训练过程中,数据扩增是必不可少的环节。现有深度学习的参数非常多,一般的模型可训练的参数量基本上都是万到百万级别,而训练集样本的数量很难有这么多,数据扩增可以扩展样本空间。
扩增一般不会改变标签,对于物体检测,数据扩增会改变物体坐标位置;对于图像分割,数数据扩增方法有很多:从颜色空间、尺度空间到样本空间,同时根据不同任务数据扩增都有相应的区别。对于图像分类,数据据扩增会改变像素标签。 以 torchvision.transforms 为例,首先整体了解数据扩增的方法,包括:
-
裁剪
中心裁剪:transforms.CenterCrop(512); # 一个参数,宽高相等 随机裁剪:transforms.RandomCrop; 随机大小、长宽比裁剪:transforms.RandomResizedCrop; 上下左右中心裁剪:transforms.FiveCrop; 上下左右中心裁剪后翻转: transforms.TenCrop。
-
翻转和旋转
依概率p水平翻转:transforms.RandomHorizontalFlip(p=0.5); 依概率p垂直翻转:transforms.RandomVerticalFlip(p=0.5); 随机旋转:transforms.RandomRotation(degrees, resample=False, expand=False, center=None)。 degrees:旋转角度,当为一个数a时,在(-a,a)之间随机旋转 resample:重采样方法 expand:旋转时是否保持图片完整,只针对中心旋转 center:设置旋转中心点
-
随机遮挡
对图像进行随机遮挡: transforms.RandomErasing。
-
图像变换
尺寸变换:transforms.Resize; 标准化:transforms.Normalize; 填充:transforms.Pad; 修改亮度、对比度和饱和度:transforms.ColorJitter; 转灰度图:transforms.Grayscale; 依概率p转为灰度图:transforms.RandomGrayscale; 线性变换:transforms.LinearTransformation(); 仿射变换:transforms.RandomAffine; 将数据转换为PILImage:transforms.ToPILImage; 转为tensor,并归一化至[0-1]:transforms.ToTensor; 用户自定义方法:transforms.Lambda。
-
对transforms的选择操作,使数据增强更灵活
transforms.RandomChoice(transforms列表):从给定的一系列transforms中选一个进行操作; transforms.RandomApply(transforms列表, p=0.5):给一个transform加上概率,依概率进行选择操作; transforms.RandomOrder(transforms列表):将transforms中的操作随机打乱。
-
自定义transforms方法
注意事项:
仅有一个参数,返回一个参数 注意上下游的输出与输入 通过类方法实现多参数的传入 class Mytransforms(object): def __init__(self,...): ''' 初始化函数,在这里出入多参数 ''' pass def __call__(self, img): ''' 1. 仅有一个参数img,仅返回一个参数img 2. 在这里实现功能 ''' pass return img
常用的数据增强库
- torchvision
pytorch官方提供的数据增强库,提供了基本的数据增强方法,可以无缝与torch进行集成;但数据增强方法种类较少,且速度中等;
- imgaug
imgaug是常用的第三方数据增强库,提供了多样的数据增强方法,且组合起来非常方便,速度较快;
- albumentations
是常用的第三方数据增强库,提供了多样的数据增强方法,对图像分类、语义分割、物体检测和关键点检测都支持,速度较快。