Transformer学习

1. router_logits 是必须要返回的吗，如果不返回router_logits，JambaSparseMoeBlock还是稀疏的吗 router_logits 并不是必须要返回的，但它在 M

Transformer中query、key和value的状态为什么要是 contiguousd值？ 在阅读Transformer模型的相关代码时，会发现query、key和value都会有contig

精度就是误差，是指我可以很确定就测量出你的水平，准度是指你的真实水平是否达标。 Acceracy 衡量的是预测值和真实值之间的距离（绝对关系），而Precision衡量的是多次测量值之间的距离（相对关

转载自: https://www.cnblogs.com/fireinstone/p/17352130.html 使用DDP时出现错误，但是单卡跑无错误。 错误记录如下： 一度以为是DDP的bug，仔

2. Transformer 模型的输入部分 目标： 掌握文本嵌入层和位置编码层的作用 掌握文本嵌入层和位置编码层的实现过程 输入部分包含： 源文本嵌入层及其位置编码 目标文本嵌入层及其位置编码 2.

1.1 Transformer 总体架构 Transformer 总体架构可以分为四个部分： 输入部分 输出部分 编码器部分 解码器部分 输入部分包含： 源文本嵌入层和位置编码层； 目标文本嵌入层和其