8月份
- Back Propagation
- 神经网络发展史
graph TD
线性回归 --> 传统神经网络-NN
传统神经网络-NN --> 卷积神经网络-CNN
传统神经网络-NN --> 递归神经网络-RNN
卷积神经网络-CNN --> 生成对抗网络-GAN
卷积神经网络-CNN --> 深度强化学习-DRL
递归神经网络-RNN --> 长期记忆网络-LSTM
- 自注意力机制
- Transformer
Transformer中K约等于V
- Transformer的变种
- Word2Vec(解决了One-hot维度灾难的问题)