AI模型训练：数据获取与增强

数据是训练一切模型的基础，因此如何获取数据就成了一个先行条件。

1.常见的机器学习数据集

（1）MNIST

属于计算机视觉领域，手写数字灰度图，包含有六万的训练集以及一万的测试集。

（2）ImageNet

引领了深度学习的热点，它包含1400万+的标注图像，2万多的类别。

（3）AudioSet

基于 YouTube 上声音的切片，用于进行声音分类。

（4）KITTI

基于驾驶的信息用作无人驾驶训练。

（5）LibriSpeech

有声读物训练集，基于 LibriVox 项目的公共领域英语有声读物构建，用于自动语音识别。

（6）Object Detection Datasets

用于目标检测的数据集，包含车辆、人脸、火灾、危险行为等。https://public.roboflow.com/object-detection

2.生成数据集

（1）使用 GAN s

https://this-person-does-not-exist.com/en

（2）数据增强

通过对原始训练数据进行一系列随机但有意义的变换，生成新的、多样化的训练样本的技术。例如旋转、缩放、噪音、抖动等技术增加数据的多样性和数量，让模型看到更多可能的“变体”，从而提高模型的泛化能力和鲁棒性。

# 定义多种增强变换 def create_augmentation_transforms(): transforms_list = { # 基础几何变换 'Original': transforms.Compose([ transforms.Resize((256, 256)), ]), # 各种旋转 'Rotate 30°': transforms.Compose([ transforms.Resize((256, 256)), transforms.RandomRotation(30), ]), 'Rotate 45°': transforms.Compose([ transforms.Resize((256, 256)), transforms.RandomRotation(45), ]), 'Rotate -15°': transforms.Compose([ transforms.Resize((256, 256)), lambda x: F.rotate(x, -15), # 固定角度旋转 ]), # 缩放和裁剪 'Random Resized Crop': transforms.Compose([ transforms.RandomResizedCrop( size=256, scale=(0.5, 1.0), # 随机缩放50%-100% ratio=(0.75, 1.33) # 宽高比范围 ), ]), # 翻转 'Horizontal Flip': transforms.Compose([ transforms.Resize((256, 256)), transforms.RandomHorizontalFlip(p=1.0), # 强制翻转 ]), 'Vertical Flip': transforms.Compose([ transforms.Resize((256, 256)), transforms.RandomVerticalFlip(p=1.0), ]), # 颜色变换 'Color Jitter (Strong)': transforms.Compose([ transforms.Resize((256, 256)), transforms.ColorJitter( brightness=0.5, contrast=0.5, saturation=0.5, hue=0.3 ), ]), 'Grayscale': transforms.Compose([ transforms.Resize((256, 256)), transforms.Grayscale(num_output_channels=3), # 保持3通道 ]), # 噪声 'Gaussian Noise': transforms.Compose([ transforms.Resize((256, 256)), AddNoise(noise_type='gaussian', intensity=0.2), ]), 'Salt & Pepper Noise': transforms.Compose([ transforms.Resize((256, 256)), AddNoise(noise_type='salt_pepper', intensity=0.05), ]), # 模糊效果 'Gaussian Blur': transforms.Compose([ transforms.Resize((256, 256)), transforms.GaussianBlur(kernel_size=5, sigma=(0.1, 2.0)), ]), # 透视变换 'Perspective Transform': transforms.Compose([ transforms.Resize((256, 256)), transforms.RandomPerspective( distortion_scale=0.5, p=1.0 ), ]), # 仿射变换 'Affine Transform': transforms.Compose([ transforms.Resize((256, 256)), transforms.RandomAffine( degrees=0, translate=(0.2, 0.2), # 平移20% scale=(0.8, 1.2), # 缩放80%-120% shear=20 # 错切20度 ), ]), # 弹性变换 'Elastic Transform': transforms.Compose([ transforms.Resize((256, 256)), transforms.ElasticTransform(alpha=50.0, sigma=5.0), ]), # 组合增强（随机顺序） 'Random Combination': transforms.Compose([ transforms.Resize((256, 256)), transforms.RandomApply([ transforms.RandomRotation(20), transforms.ColorJitter(0.3, 0.3, 0.3, 0.1), ], p=0.8), transforms.RandomHorizontalFlip(p=0.5), transforms.RandomGrayscale(p=0.2), ]), # 边缘增强 'Sharpness Adjust': transforms.Compose([ transforms.Resize((256, 256)), transforms.RandomAdjustSharpness(sharpness_factor=2, p=1.0), ]), # 自动对比度 'Auto Contrast': transforms.Compose([ transforms.Resize((256, 256)), transforms.RandomAutocontrast(p=1.0), ]), }

文本增强：将一段话翻译为另一种中间语言，然后又翻译回该语言以此实现语义相同但是语法结构不同的效果。此外还有多种方式，比如词汇级增强（同义词替换、随机插入）字符级增强（随机字符替换、随机字符交换等）句子级增强（语法树变换等）。