transformer笔记

14 阅读1分钟

有五个单词,比如 jane visite africa at september

每个单词计算对应的Ai(q,k,v)

对应A3就是africa,但是africa可以代表1、非洲 2、度假圣地 3、历史名胜。但是在这个句子里面它代表了什么意思? 所以A3就要计算和其它词之间的关系

QKV

image.png

对应上图,其实就是计算了A3的q和每一个单词的k,然后计算softmax,然后再乘以每一个单词的v再累加,然后对应了右上角的公式

所以,计算出的结果能够理解这个“输入”的整体含义了,就不用CBOW里面依赖“前后的词“推断下一个词了