transformer通过30+个细分模块完整实现Transformer论文源码及项目调试

436 阅读1分钟

1,Transformer源码训练及预测整体效果展示

2,模型训练model_training.py代码完整实现

3,数据预处理data_preprocess.py代码完整实现

4,Input端Embeddings源码完整实现

5,Attention机制attention.py代码完整实现

6,Multi-head Attention机制multi_head_attention.py代码完整实现

7,Position-wise Feed-forward源码完整实现

8,Masking 在Encoder和Decoder端的源码完整实现0

9,SublayerConnection源码完整实现

10,Encoder Layer源码完整实现

11,LayerNormalization源码完整实现

12,DecoderLayer源码完整实现

13,Encoder Stack源码完整实现

14,Decoder Stack源码完整实现

15,由Memory链接起来的EncoderDecoder Module源码完整实现

16,Batch操作完整源码实现

16,Optimization源码完整实现

17,Loss计算数学原理及完整源码实现

18,Output端Generator源码完整实现

19,Transformer模型初始化源码及内幕揭秘

20, Label Smoothing源码完整实现

21,Training源码完整实现

22,Greedy Decoding源码及内幕解析

23,Tokenizer源码及调试

24,Multi-GPU训练完整源码

27,使用自己实现的Transformer完成分类任务及调试

28,Transformer翻译任务代码完整实现及调试

29,BPE解析及源码实现

30,Shared Embeddings解析及源码实现

31,Beam Search解析及源码实现

32,可视化Attention源码实现及剖析

\