一杯冰美式650

创建scgpt虚拟环境，用于微调预训练模型，用于下游任务，需要安装的包大致为R、pytorch、flashAttentin等...

初识Transformer Transformer模型的作⽤：基于seq2seq架构的transformer模型可以完成NLP领域研究的典型任务, 如机器翻译, ⽂本⽣成等...

Part1:掩码张量 什么是掩码张量: 掩代表遮掩，码就是我们张量中的数值，它的尺⼨不定，⾥⾯⼀般只有1和0的元素，代表位置被遮掩或者不被遮掩，⾄于是0位置被遮掩还是1位置...