有五个单词,比如 jane visite africa at september
每个单词计算对应的Ai(q,k,v)
对应A3就是africa,但是africa可以代表1、非洲 2、度假圣地 3、历史名胜。但是在这个句子里面它代表了什么意思? 所以A3就要计算和其它词之间的关系
QKV
对应上图,其实就是计算了A3的q和每一个单词的k,然后计算softmax,然后再乘以每一个单词的v再累加,然后对应了右上角的公式
所以,计算出的结果能够理解这个“输入”的整体含义了,就不用CBOW里面依赖“前后的词“推断下一个词了