深度学习

在 ResNet 提出残差连接后，深层网络的训练问题得到了极大缓解。然而，ResNet 的连接方式仍然比较稀疏：每一层的输出只与后一层相加，信息传递路径有限。

随着深度学习的发展，CNN 的精度不断提升，但代价是网络越来越深、参数越来越多。例如 VGG-19 有 144M 参数，ResNet-152 计算量达到 11.3 GFLOPs。

2015 年，何恺明等人提出了 ResNet（Residual Network），首次在 ImageNet 挑战赛中使用超过 100 层的网络结构，并获得了冠军。ResNet 的关键创新是 残差连接

2012 年，深度学习在计算机视觉领域迎来了决定性时刻。Alex Krizhevsky、Ilya Sutskever 和 Geoffrey Hinton 提出了 AlexNet。

LeNet 是卷积神经网络（CNN）的早期代表，由 Yann LeCun 等人在 1989 年提出，最初用于手写数字识别（MNIST 数据集）。 作为最早成功应用于实际任务的卷积网络。

在卷积神经网络（CNN）中，卷积层用于提取图像或特征图的局部模式，而池化（Pooling）是卷积之后常用的一种下采样操作。池化可以降低特征图尺寸、减少计算量，并增强模型对位置和噪声的鲁棒性。

卷积（Convolution）是深度学习中最核心、最常用的运算之一，尤其在图像处理、语音识别和自然语言处理中扮演着关键角色。它通过滑动窗口的方式提取局部特征，能够有效捕捉数据中的空间或时间结构。

卷积神经网络（Convolutional Neural Network, CNN）是深度学习中最具代表性和影响力的模型之一。 它通过局部感受野、权值共享和多层卷积的方式，高效地提取数据的层次化特征，

在训练神经网络的过程中，我们经常遇到一个让人头疼的问题：训练集上精度高得离谱，测试集却一塌糊涂。这就是过拟合（Overfitting）。模型在训练集上死记硬背了样本，却没有真正学到可泛化的规律。

所有相关文档、源码示例、流程图与面试八股，我也将持续更新在AIHub，欢迎关注收藏！ 学习率策略 在训练神经网络时，学习率（Learning Rate, LR） 是最关键的超参数之一。

在神经网络的训练过程中，优化算法（Optimizer） 是决定参数如何更新的关键工具。 它就像是模型学习过程中的导航仪，告诉我们在损失函数的山谷里该往哪个方向走、走多远。

在神经网络的训练过程中，优化算法（Optimizer） 是决定参数如何更新的关键工具。它就像是模型学习过程中的导航仪，告诉我们在损失函数的山谷里该往哪个方向走、走多远。

在神经网络的训练过程中，损失函数 （ Loss Function ） 决定了模型优化的方向。没有损失函数，神经网络就不知道该往哪里调整参数，也就无法真正学会任务。

在神经网络的理论基础中，有一个非常重要的结果，叫做通用逼近定理（Universal Approximation Theorem, UAT）。它是深度学习能够大放异彩的根基之一。

在神经网络的世界里，最经典、最基础的一种结构就是全连接网络（Fully Connected Network, FCN）。它的核心思想非常直白：上一层的每一个神经元，都会和下一层的每一个神经元相连。

在深度学习中，激活函数（Activation Function）是神经网络的灵魂。它不仅赋予网络非线性能力，还决定了训练的稳定性和模型性能。那么，激活函数到底是什么？为什么我们非用不可？

在神经网络里，最核心的计算单元就是神经元（Neuron），它就像人脑里的一颗神经细胞，负责接收输入、加工处理，然后把结果传递下去。