transformer的学习

1 mask 我们的Transformer模型里面涉及两种mask。分别是padding mask和sequence mask。 padding mask在所有的scaled dot-product

1 encoder的结构 encoder由6层相同的层组成 每一层分别由两部分组成： 第一部分是一个multi-head self-attention mechanism 第二部分是一个positio

1 多头注意力(Multi-head Attention) 1.1 X的形状为[seq_len,d_model] 定义一组Q,K,V可以让一个词 attend to相关的词，我们可以定义多组 Q,K,

1 点积注意力(Dot-Product Attention) 1.1 输入 对于输入的句子 X，通过 WordEmbedding 得到该句子中每个字的字向量，同时通过 Positional Encod

1位置编码的理论部分 1.1 Positional Encoding的知识点 位置编码是根据公式一次性计算出来的，它不是训练参数，也不是需要反向传播优化的内容。它就像一本查找表，里面存储了从位置 0

1 输入数据经过input embedding的输出形式 1.1 训练的transformer的功能与初始的输入句子 假设我们训练的transformer是德语转英语的功能。 训练数据为两条德语的句子