批归一化（Batch Normalization, BN） 是一种用于加速深度神经网络训练的技术，通过在每一层的小批量数据上进行归一化来稳定网络的训练过程。批归一化在前向传播时对每个小批量的输入数据进行均值和方差归一化，使得输入的分布更加稳定。归一化公式为：
其中，μ\muμ 是批数据的均值，σ2\sigma^2σ2 是方差，ϵ\epsilonϵ 是一个很小的常数以避免除零。归一化后的数据再进行线性变换（通过可学习参数γ\gammaγ 和β\betaβ）以恢复网络表达能力。批归一化可以有效缓解梯度消失和梯度爆炸的问题，提高模型的收敛速度和稳定性，减少对权重初始化的敏感性，同时还能作为一种正则化方法减轻过拟合。
训练技巧：一些常见的训练技巧包括学习率调度（Learning Rate Scheduling）、早停（Early Stopping）、权重初始化、数据增强（Data Augmentation）等。学习率调度通过动态调整学习率来提高训练效率和稳定性；早停在验证集误差不再下降时停止训练，以防止过拟合；数据增强通过对输入数据进行随机旋转、翻转、裁剪等操作，增加数据的多样性，提升模型的泛化能力。举个例子，在图像分类任务中使用批归一化和数据增强，可以显著提高模型在训练和测试数据上的表现。通过批归一化减少梯度波动，加速收敛，而数据增强则扩大了训练数据集的有效容量，使模型在面对未见过的数据时表现更佳。
卷积神经网络（Convolutional Neural Network, CNN） 是一种专为处理具有网格结构数据（如图像、视频）的深度学习模型。CNN通过卷积层、池化层和全连接层等结构，自动提取数据中的空间和层次特征，在计算机视觉任务（如图像分类、物体检测、图像分割）中广泛应用。相比传统神经网络，CNN的设计能够减少参数数量和计算量，提高特征学习的效率和效果。
1. 核心结构：
-
卷积层（Convolutional Layer） ：CNN的核心组成部分，用于提取输入数据的局部特征。通过卷积核（滤波器）对输入数据进行卷积运算，捕捉不同尺度的特征，如边缘、纹理和形状。
-
激活函数（Activation Function） ：在卷积运算后，通过ReLU（Rectified Linear Unit）激活函数引入非线性，使得模型能够学习复杂特征。
-
池化层（Pooling Layer） ：用于减少数据维度和计算量，保留主要特征。最常用的是最大池化（Max Pooling），它通过在输入特征图中取局部区域的最大值，实现降维的同时保持重要信息。池化层帮助模型减少过拟合，提高对图像位置和形变的鲁棒性。
-
全连接层（Fully Connected Layer） ：在网络的末端，通过将卷积层提取的特征展平为一维向量，并传递给全连接层，以实现类别的最终预测。全连接层相当于传统神经网络的结构，将高层特征与具体任务输出关联起来。
工作流程：
- 输入图像经过多个卷积层和池化层，逐层提取从低级（如边缘）到高级（如复杂形状）的特征。
- 特征图在通过全连接层之前被展平为一维向量。
- 最终通过Softmax激活函数输出各类别的概率，完成分类任务。
实际应用：
在图像分类任务中，如CIFAR-10数据集分类，CNN的层次化特征学习使其能够自动从原始像素提取有用特征，并高效完成分类。不同于手动设计特征的传统方法，CNN在学习过程中自动优化卷积核，找到最佳的特征表达方式，大幅提升了分类准确率。随着计算资源的发展和改进结构（如ResNet、VGG、Inception等）的提出，CNN在图像处理领域持续取得突破性进展。
