[深度学习]深度学习 VS 神经网络(关系)

62 阅读4分钟

简单来说,是的,深度学习的核心和底层基石就是神经网络nn,但并不是单一的、原始的神经网络,而是一个庞大且不断演进的家族。

我们可以从几个层面来理解这个回答:

1. 核心观点:神经网络是深度学习的“原子”

深度学习得名于使用深度神经网络。这里的“深度”指的是网络中有很多隐藏层。无论网络结构如何变化,其基本构建块始终是:

  • 神经元:对输入进行加权求和,并通过一个非线性激活函数(如ReLU、Sigmoid)产生输出。
  • 连接与权重:神经元之间的连接带有可学习的权重,这是网络存储知识的地方。
  • 层级结构:通过层层堆叠,网络可以从原始数据(像素、单词)中自动学习从低级特征(边缘、笔画)到高级抽象(物体、语义)的复杂表示。

所以,从这个意义上说,所有深度学习模型都是一种特定结构的深度神经网络

2. 神经网络家族的演变:不仅仅是“全连接”

说“底层是神经网络”并不是指几十年前最简单的单层感知机或浅层全连接网络。它已经演变成一个庞大的家族,针对不同任务和数据设计了不同的网络架构

  • 卷积神经网络:专为网格状数据(如图像、视频)设计。其核心组件是卷积层,它通过卷积核在局部感受野上操作,能高效提取空间特征。这是计算机视觉的基石。
  • 循环神经网络:专为序列数据(如文本、语音、时间序列)设计。其神经元具有“记忆”功能(通过循环连接),可以处理可变长度的输入,并考虑上下文信息。LSTM和GRU是其重要变体。
  • Transformer:现在占据主导地位的架构(如BERT、GPT系列)。它完全基于自注意力机制,能并行处理序列并建立全局依赖关系,彻底改变了自然语言处理领域,并扩展到视觉和多模态任务。
  • 生成对抗网络:由两个神经网络(生成器和判别器)通过对抗过程进行训练,用于生成逼真的新数据(如图像、音乐)。
  • 自编码器:一种用于无监督学习的神经网络,旨在学习数据的有效压缩表示。

所有这些模型,虽然架构差异巨大,但它们的“底层硬件”仍然是可微分的人工神经元和层级连接,通过反向传播和梯度下降进行训练。

3. 关键的“深度”思想

深度学习之所以强大,除了神经网络架构,还依赖于几个关键思想,它们共同作用于神经网络之上:

  • 端到端学习:直接将原始数据输入网络,让网络自己学习从特征提取到最终决策的所有步骤,无需复杂的人工特征工程。
  • 分布式表示:信息分散在网络的大量神经元和连接中,这使得模型具有很强的表达能力和泛化能力。
  • 计算与数据的结合:GPU等硬件的大规模并行计算能力,加上互联网时代的海量数据,使得训练极其深度的网络成为可能。

总结

层面解释
基本单元是,永远是人工神经元(带激活函数的加权和)。
架构是,但形态多样。CNN、RNN、Transformer等都是神经网络的不同“建筑风格”。
方法核心是,但已扩展。基于反向传播的梯度下降法是其训练的核心,但发展出了众多变体和优化技巧。
范围深度学习 ≈ 深度神经网络的研究与应用。广义的机器学习包含很多非神经网络的方法(如决策树、SVM),但深度学习特指基于深度神经网络的分支。深度学习是机器学习的一个子集

所以,更精确的表述是:深度学习的底层始终是深度神经网络,但现代深度学习的研究重点在于设计更强大、更高效的神经网络架构(如Transformer),并发展与之配套的训练方法、理论理解和应用范式。

可以把神经网络看作是一种强大的“可编程计算结构”,而深度学习就是研究如何为不同的任务(看、听、读、生成)设计和“编程”这种结构,并让它从数据中自我优化的科学。