huggingface-Transformers-源码解读

huggingface-Transformers-源码解读

huggingface-Transformers-源码解读

通过阅读Huggingfac-transformers中的模型源码和论文加深自己对预训练模型的理解。

等 1 人订阅共2篇文章创建于2022-07-29

Transformers源码分析-GPT2(Pytorch)

GPT2通过堆叠Transfomer的Deocder广泛的应用于各类生成式任务。并且在Tranformers-GPT2的源码中，提供了很多Trick来压缩计算时间和计算开销，因此读懂源码非常有必要。

3年前
559
点赞
评论

Transformers源码分析-BERT(Pytorch)

Transofrmers版本4.21 这里只考虑预训练的代码，毕竟预训练才是最重要的，一通百通。即 BertForPretraining这个类获取类调用的关系图UML图图中左侧箭头对应NSP任务的

3年前
1.1k
1
评论