一杯冰美式650

赞

3

|

搜索文章

赞

文章( 3 ) 沸点( 0 )

学习记录：创建scgpt虚拟环境，用于微调预训练模型，用于下游任务

创建scgpt虚拟环境，用于微调预训练模型，用于下游任务，需要安装的包大致为R、pytorch、flashAttentin等

谁tm抢我神奇小饼干
10月前
413
1
评论

Transformer学习记录：输入层

初识Transformer Transformer模型的作⽤：基于seq2seq架构的transformer模型可以完成NLP领域研究的典型任务, 如机器翻译, ⽂本⽣成等，同时⼜可以构建预训练语⾔模

谁tm抢我神奇小饼干
10月前
162
1
评论

Transfomer学习记录：编码器

Part1:掩码张量什么是掩码张量: 掩代表遮掩，码就是我们张量中的数值，它的尺⼨不定，⾥⾯⼀般只有1和0的元素，代表位置被遮掩或者不被遮掩，⾄于是0位置被遮掩还是1位置被遮掩可以⾃定义，因此它的作

谁tm抢我神奇小饼干
10月前
41
1
评论

加入于

2024-11-05