PeterHai

语义标注在文本挖掘中有着广泛的应用，它预测给定的文本是否表达了给定语义标签的含义。语义标注的问题很大程度上是通过监督学习来解决的，如今，深度学习模型被广泛认为更适合语义标注。然而，没有全面的研究支持这一流行观点。相关从业者通常必须为每个语义标记任务训练不同类型的模型，以识别最佳…

在自然语言处理中，有大量的未标记文本。当计算机处理文本时，有必要将文本转换成计算机能够理解的格式。因此，研究人员提出了“单词向量”，它使用一系列数字来表示单词。最简单的方法是one-hot向量，表示单词出现的位置为1，其余表示为0。但是这种方法有两个主要缺点: 1、词向量的维数…

Transformer 左半边为 Encoder，右半边为 Decoder。我们将 Encoder 输入的句子称为 source，Decoder 输入的句子称为 target Encoder 负责将 source 进行 self-attention 并获得句子中每个词的 rep…