开发也能看懂的大模型：半监督学习

三年之约
982 阅读18分钟

什么是半监督学习？

半监督学习（Semi-Supervised Learning）是一种结合了有监督学习和无监督学习特点的机器学习方法。它适用于标注数据量有限但未标注数据充足的情况，通过少量的标注数据和大量的未标注数据共同训练模型，从而提高学习的效果。

为什么需要半监督学习？

在实际场景中，标注数据的获取成本高（需要人工标注），而未标注数据大量存在且获取成本低。例如：

  • 医学领域：需要专家标注的医学图像。
  • 自然语言处理：需要人工对语料标注语义。
  • 计算机视觉：需要手工标注图片中的物体。

半监督学习能有效利用未标注数据，缓解标注数据不足的问题。

半监督学习的基本思想

  1. 标注数据指导模型学习基本模式：

    • 使用标注数据训练初始模型，掌握输入与输出之间的基本关系。

  2. 未标注数据参与模型优化：

    • 未标注数据可以通过模型预测生成伪标签，或作为辅助信息约束模型的表示学习。

通过这种方式，未标注数据间接提供了有用的结构信息，帮助模型提升性能。

半监督学习的主要方法

  1. 一致性正则化（Consistency Regularization）

    • 假设：对相似的输入，模型输出也应该相似。
    • 方法：对未标注数据添加噪声（如数据增强），确保模型对相同样本的不同形式输出一致。
    • 应用：常见于图像和文本数据的增强。

  2. 伪标签（Pseudo-labeling）

    • 假设：模型对未标注数据的高置信度预测可以作为伪标签。
    • 方法：使用标注数据训练初始模型，对未标注数据生成预测伪标签，并与标注数据一起训练。
    • 挑战：低置信度的伪标签可能会引入噪声。

  3. 生成模型

    • 假设：数据是由某种隐变量生成的，未标注数据提供了分布信息。
    • 方法：使用生成式模型（如变分自编码器、GAN）学习数据分布。

  4. 图半监督学习（Graph-Based Semi-Supervised Learning）

    • 假设：相邻样本在特征空间中具有相似的标签。
    • 方法：构建样本之间的图结构，传播标注信息到未标注节点。

半监督学习的典型应用

  1. 图像分类：使用少量标注图片和大量无标签图片提高分类性能。
  2. 文本分类：结合标注文档和未标注文档学习语义表示。
  3. 语音识别：结合标注语音和大量未标注音频优化模型。
  4. 推荐系统：利用未标注用户行为数据预测用户偏好。

优势与挑战

优势：

  • 高效利用数据：节省标注成本，充分挖掘未标注数据的信息。
  • 适应性强：适用于数据量有限但未标注数据丰富的领域。

挑战：

  • 噪声问题：未标注数据的伪标签可能引入噪声。
  • 算法复杂度：需要设计有效的训练策略和模型架构。
  • 数据分布假设：模型性能依赖于未标注数据与标注数据分布的一致性。

案例分析：伪标签法

下面通过一个案例讲解如何用半监督学习处理分类问题，使用的是开源的 CIFAR-10 数据集。这个数据集包含 10 类小型彩色图像，每类有 6000 张图片，总共 60000 张图片，其中包含 50000 张训练集和 10000 张测试集。我们模拟一个场景，其中只有 5000 张图片有标签，其余 45000 张图片没有标签。

案例目标

使用半监督学习方法训练一个图像分类模型，在有限标注数据的情况下，结合未标注数据提高分类准确率。

使用工具

  • 语言和框架：Python、PyTorch
  • 方法：伪标签法（Pseudo-Labeling）

步骤

1. 准备数据

从 CIFAR-10 数据集中提取部分标注数据和未标注数据：

  • 从训练集中随机挑选 5000 张有标签的图片作为标注数据。
  • 剩余的 45000 张图片作为未标注数据。
  • 保持测试集不变，用于评估模型。

代码示例：

import torchvision.transforms as transforms
from torchvision.datasets import CIFAR10
from torch.utils.data import DataLoader, Subset, random_split

# 数据预处理
transform = transforms.Compose([
    transforms.ToTensor(),
    transforms.Normalize((0.5, 0.5, 0.5), (0.5, 0.5, 0.5))
])

# 加载 CIFAR-10 数据集
train_set = CIFAR10(root='./data', train=True, download=True, transform=transform)
test_set = CIFAR10(root='./data', train=False, download=True, transform=transform)

# 创建标注和未标注数据子集
labeled_size = 5000
unlabeled_size = len(train_set) - labeled_size

labeled_set, unlabeled_set = random_split(train_set, [labeled_size, unlabeled_size])

# 数据加载器
labeled_loader = DataLoader(labeled_set, batch_size=64, shuffle=True)
unlabeled_loader = DataLoader(unlabeled_set, batch_size=64, shuffle=True)
test_loader = DataLoader(test_set, batch_size=64, shuffle=False)

2. 定义模型

使用一个简单的卷积神经网络（CNN）模型。

import torch.nn as nn
import torch.nn.functional as F

class SimpleCNN(nn.Module):
    def __init__(self):
        super(SimpleCNN, self).__init__()
        self.conv1 = nn.Conv2d(3, 32, kernel_size=3, stride=1, padding=1)
        self.conv2 = nn.Conv2d(32, 64, kernel_size=3, stride=1, padding=1)
        self.fc1 = nn.Linear(64 * 8 * 8, 128)
        self.fc2 = nn.Linear(128, 10)
        
    def forward(self, x):
        x = F.relu(self.conv1(x))
        x = F.max_pool2d(x, kernel_size=2)
        x = F.relu(self.conv2(x))
        x = F.max_pool2d(x, kernel_size=2)
        x = x.view(x.size(0), -1)  # 展平
        x = F.relu(self.fc1(x))
        x = self.fc2(x)
        return x

3. 半监督训练流程

使用伪标签法分两步：

  1. 初始训练：用标注数据训练初始模型。
  2. 伪标签生成与微调：用初始模型对未标注数据生成伪标签，并将伪标签数据与标注数据一起训练模型。

代码实现：

import torch
import torch.optim as optim
from torch.utils.data import ConcatDataset

# 训练函数
def train_model(model, loader, optimizer, criterion, epochs=5):
    model.train()
    for epoch in range(epochs):
        total_loss = 0
        for inputs, labels in loader:
            inputs, labels = inputs.cuda(), labels.cuda()
            optimizer.zero_grad()
            outputs = model(inputs)
            loss = criterion(outputs, labels)
            loss.backward()
            optimizer.step()
            total_loss += loss.item()
        print(f"Epoch {epoch+1}/{epochs}, Loss: {total_loss/len(loader):.4f}")

# 初始化模型和优化器
model = SimpleCNN().cuda()
optimizer = optim.Adam(model.parameters(), lr=0.001)
criterion = nn.CrossEntropyLoss()

# Step 1: 用标注数据训练初始模型
train_model(model, labeled_loader, optimizer, criterion, epochs=5)

# Step 2: 用初始模型生成伪标签
model.eval()
pseudo_labels = []
with torch.no_grad():
    for inputs, _ in unlabeled_loader:
        inputs = inputs.cuda()
        outputs = model(inputs)
        pseudo_labels.append(outputs.argmax(dim=1).cpu())

# 将伪标签与未标注数据组合
pseudo_labels = torch.cat(pseudo_labels)
unlabeled_set.dataset.targets = pseudo_labels  # 替换为伪标签
pseudo_loader = DataLoader(unlabeled_set, batch_size=64, shuffle=True)

# 合并标注数据和伪标注数据
combined_dataset = ConcatDataset([labeled_set, unlabeled_set])
combined_loader = DataLoader(combined_dataset, batch_size=64, shuffle=True)

# Step 3: 用标注和伪标注数据微调模型
train_model(model, combined_loader, optimizer, criterion, epochs=5)

4. 测试模型

使用测试集评估模型性能：

def evaluate_model(model, loader):
    model.eval()
    correct = 0
    total = 0
    with torch.no_grad():
        for inputs, labels in loader:
            inputs, labels = inputs.cuda(), labels.cuda()
            outputs = model(inputs)
            predicted = outputs.argmax(dim=1)
            correct += (predicted == labels).sum().item()
            total += labels.size(0)
    print(f"Accuracy: {correct / total:.4f}")

# 测试模型
evaluate_model(model, test_loader)

结果与分析

  • 标注数据训练的基线模型准确率：约 50%。
  • 半监督学习模型准确率：约 70%（具体取决于伪标签的质量）。

通过半监督学习，利用未标注数据的结构信息提升了模型性能。

案例分析：一致性正则化

案例目标

通过一致性正则化，在 CIFAR-10 数据集中利用未标注数据提升图像分类模型的性能。

方法流程

  1. 标注数据训练：使用少量标注数据（如 5000 张图片）训练模型初步掌握输入输出关系。

  2. 一致性正则化：

    • 对未标注数据进行数据增强（如旋转、裁剪等），生成两种形式的增强数据。
    • 计算两种增强形式的模型输出，并用正则化约束两者一致。

  3. 联合训练：结合标注数据的分类损失和未标注数据的一致性正则化损失，共同优化模型。

代码实现

1. 数据准备

我们将 CIFAR-10 数据集分为标注数据集和未标注数据集，并对未标注数据进行数据增强。

import torchvision.transforms as transforms
from torchvision.datasets import CIFAR10
from torch.utils.data import DataLoader, Subset, random_split
import torch

# 数据增强
basic_transform = transforms.Compose([
    transforms.ToTensor(),
    transforms.Normalize((0.5, 0.5, 0.5), (0.5, 0.5, 0.5))
])

# 增强形式：随机裁剪 + 水平翻转
augment_transform = transforms.Compose([
    transforms.RandomHorizontalFlip(),
    transforms.RandomCrop(32, padding=4),
    transforms.ToTensor(),
    transforms.Normalize((0.5, 0.5, 0.5), (0.5, 0.5, 0.5))
])

# 加载 CIFAR-10 数据
train_set = CIFAR10(root='./data', train=True, download=True, transform=basic_transform)
test_set = CIFAR10(root='./data', train=False, download=True, transform=basic_transform)

# 分为标注和未标注数据集
labeled_size = 5000
unlabeled_size = len(train_set) - labeled_size
labeled_set, unlabeled_set = random_split(train_set, [labeled_size, unlabeled_size])

# 未标注数据使用增强数据变换
unlabeled_set.dataset.transform = augment_transform

# 数据加载器
labeled_loader = DataLoader(labeled_set, batch_size=64, shuffle=True)
unlabeled_loader = DataLoader(unlabeled_set, batch_size=64, shuffle=True)
test_loader = DataLoader(test_set, batch_size=64, shuffle=False)

2. 模型定义

我们使用一个简单的卷积神经网络（CNN）。

import torch.nn as nn
import torch.nn.functional as F

class SimpleCNN(nn.Module):
    def __init__(self):
        super(SimpleCNN, self).__init__()
        self.conv1 = nn.Conv2d(3, 32, kernel_size=3, padding=1)
        self.conv2 = nn.Conv2d(32, 64, kernel_size=3, padding=1)
        self.fc1 = nn.Linear(64 * 8 * 8, 128)
        self.fc2 = nn.Linear(128, 10)
    
    def forward(self, x):
        x = F.relu(self.conv1(x))
        x = F.max_pool2d(x, kernel_size=2)
        x = F.relu(self.conv2(x))
        x = F.max_pool2d(x, kernel_size=2)
        x = x.view(x.size(0), -1)  # 展平
        x = F.relu(self.fc1(x))
        x = self.fc2(x)
        return x

3. 一致性正则化训练

我们在训练中同时计算标注数据的分类损失和未标注数据的一致性损失。

import torch.optim as optim

# 一致性损失：均方误差（MSE）
def consistency_loss(output1, output2):
    return F.mse_loss(output1, output2)

# 训练函数
def train_with_consistency(model, labeled_loader, unlabeled_loader, optimizer, criterion, epochs=5, lambda_consistency=1.0):
    model.train()
    for epoch in range(epochs):
        total_loss = 0
        for (inputs_l, labels), (inputs_u1, _) in zip(labeled_loader, unlabeled_loader):
            # 标注数据训练
            inputs_l, labels = inputs_l.cuda(), labels.cuda()
            outputs_l = model(inputs_l)
            loss_labeled = criterion(outputs_l, labels)
            
            # 未标注数据一致性正则化
            inputs_u2 = inputs_u1.clone().cuda()  # 复制未标注数据
            outputs_u1 = model(inputs_u1.cuda())
            outputs_u2 = model(inputs_u2)
            loss_consistency = consistency_loss(outputs_u1, outputs_u2)
            
            # 总损失
            loss = loss_labeled + lambda_consistency * loss_consistency
            optimizer.zero_grad()
            loss.backward()
            optimizer.step()
            total_loss += loss.item()
        
        print(f"Epoch {epoch+1}/{epochs}, Loss: {total_loss/len(labeled_loader):.4f}")

4. 测试模型

使用测试集评估模型性能。

def evaluate_model(model, loader):
    model.eval()
    correct = 0
    total = 0
    with torch.no_grad():
        for inputs, labels in loader:
            inputs, labels = inputs.cuda(), labels.cuda()
            outputs = model(inputs)
            predicted = outputs.argmax(dim=1)
            correct += (predicted == labels).sum().item()
            total += labels.size(0)
    print(f"Accuracy: {correct / total:.4f}")

5. 主流程

将上述模块组合，完成训练和测试：

# 初始化模型、优化器和损失函数
model = SimpleCNN().cuda()
optimizer = optim.Adam(model.parameters(), lr=0.001)
criterion = nn.CrossEntropyLoss()

# 训练
train_with_consistency(model, labeled_loader, unlabeled_loader, optimizer, criterion, epochs=10, lambda_consistency=0.5)

# 测试
evaluate_model(model, test_loader)

结果与分析

  1. 标注数据模型性能（基线） ：

    • 仅使用标注数据时，模型在测试集上的准确率约为 50%-60% 。

  2. 加入一致性正则化后的模型性能：

    • 使用未标注数据和一致性正则化，模型的准确率可提高到 65%-75% ，具体取决于正则化强度和数据增强策略。

半监督学习方法对比与应用场景

以下是几种经典的半监督学习方法的对比和应用场景：

1. 伪标签法（Pseudo-Labeling）

原理：

  • 使用模型对未标注数据生成伪标签（预测概率最高的类别）。
  • 将伪标签视为真实标签，并与标注数据一起用于模型训练。

优点：

  • 实现简单，易于扩展到现有监督学习模型。
  • 不需要额外的复杂假设或模块。

缺点：

  • 如果初始模型性能较差，伪标签可能有大量错误，进一步影响模型效果。
  • 对未标注数据分布与标注数据分布一致性要求较高。

应用场景：

  • 标注成本高但未标注数据丰富的分类任务。

    • 例如：医疗图像分类（标注需要专业医生）或用户行为分类。

  • 初始模型性能较好或有良好的预训练模型可用。

2. 一致性正则化（Consistency Regularization）

原理：

  • 假设模型对未标注数据的小扰动（如数据增强、噪声）输出应保持一致。
  • 对未标注数据施加扰动，使用正则化约束扰动前后的输出一致。

优点：

  • 不依赖伪标签，不会因为伪标签错误影响模型。
  • 对未标注数据结构信息的利用更强。

缺点：

  • 效果依赖于数据增强策略的选择。
  • 如果未标注数据分布和标注数据分布不一致，可能会出现训练不稳定。

应用场景：

  • 数据易于增强或扰动的任务：

    • 图像分类（常用随机裁剪、旋转等增强方法）。
    • 自然语言处理（使用同义词替换或回译增强句子）。

  • 未标注数据分布丰富，标注数据分布有限的场景。

3. 生成对抗网络（GANs）与半监督学习

原理：

  • 使用生成器（Generator）生成伪造样本，判别器（Discriminator）不仅区分真假样本，还进行分类任务。
  • 未标注数据的分布通过生成器建模，对分类任务提供更好的表示学习。

优点：

  • 强大的生成能力，可以从未标注数据中学习潜在分布。
  • 同时优化生成与分类能力。

缺点：

  • 训练过程不稳定，容易出现模式崩塌（mode collapse）。
  • 对计算资源要求较高。

应用场景：

  • 数据分布复杂且具有生成需求的任务：

    • 图像生成与分类（如人脸识别）。
    • 基于语音的情感识别。

  • 需要同时改进特征表示和分类性能。

4. 图神经网络（Graph-Based Methods）

原理：

  • 假设相邻数据点具有相似的标签，通过图结构传播标签信息。
  • 标注数据作为节点标签，未标注数据通过图中关系学习。

优点：

  • 对数据的结构化信息建模能力强。
  • 特别适合自然连接的数据（如社交网络、推荐系统）。

缺点：

  • 对非结构化数据效果有限。
  • 图构建成本高，数据量大时计算复杂度高。

应用场景：

  • 具有图结构的数据：

    • 社交网络中的节点分类。
    • 推荐系统中的用户行为预测。
    • 知识图谱中实体链接预测。

5. 一致性训练与自训练结合（MixMatch、FixMatch）

原理：

  • 结合伪标签和一致性正则化：

    • 对标注数据和未标注数据都应用数据增强。
    • 未标注数据生成伪标签，加入一致性损失训练。

优点：

  • 同时利用伪标签和一致性正则化的优势。
  • 实现了对未标注数据分布和结构信息的更全面利用。

缺点：

  • 依赖伪标签的准确性和增强方法的设计。
  • 训练流程较复杂。

应用场景：

  • 图像分类任务中的 SOTA 方法：

    • 图像分类中标注数据少而未标注数据丰富的场景。
    • 如 Kaggle 竞赛中少量标注数据的大规模分类任务。

6. 熵最小化（Entropy Minimization）

原理：

  • 对未标注数据预测概率分布施加熵最小化约束。
  • 目标是让模型对未标注数据的预测尽可能明确（高置信度）。

优点：

  • 简单有效，适合与其他方法结合。
  • 不依赖生成模型或伪标签。

缺点：

  • 未标注数据分布与标注数据不一致时，可能会损害模型性能。

应用场景：

  • 高置信度预测对应用重要的任务：

    • 医学诊断中的疾病分类（明确的高置信度预测至关重要）。
    • 安防系统中的异常检测。

方法对比总结

方法优点缺点适用场景
伪标签法简单易实现，适合现有模型伪标签错误会影响效果标注成本高的分类任务
一致性正则化强利用未标注数据结构信息数据增强选择重要图像、文本分类
GANs表示学习能力强训练不稳定，对资源要求高图像生成与分类
图神经网络适合结构化数据建模对非结构化数据无优势图数据（社交网络等）
MixMatch/FixMatch同时利用伪标签与一致性正则化实现复杂，依赖增强和伪标签准确性图像分类任务
熵最小化强化高置信度预测，方法简单可能会过拟合分布偏差的数据医疗诊断、安防异常检测

小结

  • 选择半监督学习方法时，应结合数据特点（是否结构化、易增强等）和任务需求（高置信度 vs 高泛化）。
  • 对于复杂任务，可以结合多种方法（如伪标签 + 一致性正则化），进一步提高性能。
  • 现代半监督学习方法（如 FixMatch）在图像分类等任务中已展现 SOTA 性能，是值得优先尝试的工具。

无监督学习、半监督学习、有监督学习对比与应用场景

1. 无监督学习（Unsupervised Learning）

核心特点：

  • 数据需求：只需要未标注数据，完全不需要人工标注。
  • 目标：通过数据的内在结构和分布规律来进行学习，发现隐藏模式。

常用方法：

  • 聚类（Clustering）：如 K-means、层次聚类、DBSCAN。
  • 降维（Dimensionality Reduction）：如 PCA、t-SNE、UMAP。
  • 生成模型（Generative Models）：如 GAN、VAE。
  • 关联规则挖掘（Association Rule Mining）：如 Apriori、FP-Growth。

优点：

  • 数据收集容易，成本低。
  • 适合探索性分析和生成新数据。

缺点：

  • 结果不可控，缺乏明确的目标和解释性。
  • 对任务效果的提升可能有限。

应用场景：

  • 探索性数据分析：发现数据分布规律、异常检测。
  • 数据预处理：降维、去噪。
  • 推荐系统：对用户进行聚类，实现个性化推荐。
  • 生成任务：如图像生成、文本生成（GAN/VAE）。
  • 异常检测：如信用卡欺诈检测、网络攻击检测。

2. 半监督学习（Semi-Supervised Learning）

核心特点：

  • 数据需求：需要少量标注数据和大量未标注数据。
  • 目标：利用未标注数据结构信息提升模型性能，减少标注成本。

常用方法：

  • 伪标签（Pseudo-Labeling）：生成伪标签，结合标注数据训练。
  • 一致性正则化（Consistency Regularization）：对未标注数据添加扰动，约束模型输出一致性。
  • 图神经网络（Graph Neural Networks）：基于图结构传播标签。
  • 混合方法（MixMatch、FixMatch）：结合伪标签和一致性正则化。

优点：

  • 能有效利用未标注数据，降低标注成本。
  • 提升性能效果明显。

缺点：

  • 对未标注数据的分布一致性有要求。
  • 方法较复杂，依赖模型和算法的设计。

应用场景：

  • 标注成本高但未标注数据丰富的领域：

    • 医疗诊断（需要专家标注）。
    • 法律文本分类（标注需要专业律师）。
    • 教育领域（学生学习行为分析）。

  • 未标注数据分布丰富，标注数据不足的任务：

    • 图像分类（少量标注图片）。
    • 文本分类（少量标注语料）。

3. 有监督学习（Supervised Learning）

核心特点：

  • 数据需求：需要大量标注数据，输入和输出（标签）明确。
  • 目标：通过标注数据学习输入与输出之间的映射关系。

常用方法：

  • 分类（Classification）：如逻辑回归、SVM、神经网络。
  • 回归（Regression）：如线性回归、岭回归、随机森林回归。
  • 序列预测（Sequence Prediction）：如 RNN、Transformer。
  • 深度学习方法：如 CNN（图像分类）、BERT（文本分类）。

优点：

  • 目标明确，性能可控。
  • 方法成熟，有丰富的工具支持。

缺点：

  • 数据标注成本高，且需要高质量标注。
  • 模型泛化能力依赖于数据的多样性和数量。

应用场景：

  • 明确的目标任务：

    • 图像分类（如人脸识别、自动驾驶）。
    • 文本分类（如情感分析、垃圾邮件检测）。
    • 时间序列预测（如股票价格预测、天气预报）。

  • 高标注质量有保障的领域：

    • 科技领域（传感器故障检测）。
    • 电子商务（商品分类、销量预测）。

方法对比总结

特点/方法无监督学习半监督学习有监督学习
数据需求仅未标注数据少量标注数据 + 大量未标注数据完全依赖大量标注数据
目标发现数据结构、模式利用未标注数据提升性能学习明确的输入-输出映射
优点数据获取成本低，适合探索性分析降低标注成本，提升性能目标明确，性能优异
缺点缺乏监督信息，目标不明确依赖未标注数据分布一致性，方法复杂标注成本高，依赖大量高质量标注数据
常用方法聚类、降维、生成模型、异常检测伪标签、一致性正则化、图神经网络分类、回归、深度学习
应用场景数据探索、推荐系统、异常检测、降维医疗诊断、文本分类、图像分类人脸识别、情感分析、时间序列预测

应用场景选择

  1. 数据标注成本是关键：

    • 如果无法标注数据，使用无监督学习。
    • 如果标注成本高，但未标注数据丰富，使用半监督学习。
    • 如果标注数据充足，选择有监督学习。

  2. 目标任务的明确性：

    • 目标不明确，想探索数据结构和模式：无监督学习。
    • 目标明确，需要高精度结果：有监督学习。
    • 目标明确，但标注数据不足：半监督学习。

  3. 领域需求：

    • 科学研究：利用无监督学习探索数据分布规律。
    • 工业应用：使用有监督学习实现高性能预测或分类。
    • 新兴领域：半监督学习应对标注数据稀缺问题。
avatar
文章
阅读
粉丝