深度学习各子领域略览及术语列表 (2)

开启掘金成长之旅！这是我参与「掘金日新计划 · 2 月更文挑战」的第 15 天，点击查看活动详情

2. DL通用基础

1. MLP
2. 卷积神经网络CNN
3. 循环神经网络RNN（都可以双向Bi-）
   1. LSTM
   2. GRU
4. 回声状态网络 (echo state network,ESN)
   1. 回声状态网络(echo state network,ESN)概述_好大一条比目鱼的博客-CSDN博客_回声状态网络
5. SAE
6. 孪生神经网络Siamese network Siamese network 孪生神经网络--一个简单神奇的结构 - 知乎
7. 置信度传播belief propagation
8. n-gram
9. token
10. 池化
11. 表示学习
12. 误差传播
13. 耦合 / 解耦
14. 剪枝
15. 优化optimization
    1. 凸优化convex optimization
    2. 梯度下降
    3. 反向传播back propagation (BP)
    4. 学习率learning rate
    5. weight decay
    6. momentum
    7. 随机梯度下降SGD
    8. Adam
    9. EM（变分推断（variational inference）/variational EM）
    10. NeurIPS 2022上Geoffrey Hinton提出了一种超神奇的、不用反向传播的前向-前向传播的训练方式： The Forward-Forward Algorithm: Some Preliminary Investigations 反正这个东西大意呢就是说，不用反向传播，而是直接进行两次前向传播（一次用正样本，一次用负样本），直接调整权值（具体算法我没看懂），这样的优势有很多啊，比如模型不可微、或者模型是黑盒的时候，这样就也能计算权值了…… 总之我觉得可能是一些RL不够persuasive的场合下能给RL一个灭顶之灾的搞法。 然后2023年就有把这个东西用在GNN上的工作了（你们是真的快啊，别跟我讲2023年你能连综述都搞出来哈）：Graph Neural Networks Go Forward-Forward
16. attention（你给我解释解释，什么TMD叫TMD attention（持续更新ing...））