CReep的算法笔记

实体关系抽取（ERE）是信息抽取关键任务之一，主要是分为两个子任务：实体抽取和关系抽取。对于该任务主要是有两种方式。

hi！又到每周分享的时刻了，希望看官老爷们能有收获呀！！！！！！！！！！！！！！ 今天主要给大家介绍两篇有关对比学习的论文。 对比学习这样的方法在自然语言中备受关注。

今天想和给大家介绍的工作是如何将Prompt应用于多任务的场景，常见的Multi-task模型一般的架构是底部共享参数，然后在顶层每个场景学习自己的私有参数典型的代表模型有MMoE等。

从字面意思上来理解其实self.attention就是自己和自己做相识度计算，其实就是每个词和句子中其他词计算相识度，利用上下文增强目标词的表达。

能力的编码器构建分类任务。然而，在NLP任务中，通过对比学习构建学习对要困难得多。之前的工作产生词级变化以形成对比对，但小的变换可能会导致句子含义的显著变化。

简单介绍下短文本匹配任务，就是两个句子送入模型，然后做一个二分类，判断两个句子是否相识。。。。。。。

hi！又到每周分享的时刻了，希望大家能有收获呀！！！！！！！！！！！ ”BERT“ 这个词相信大家已经不在陌生了, 发布至今，BERT 已成为 NLP 实验中无处不在的基线。

Bert用了Transform的encoder侧网络，作为一个文本编码器，使用大规模数据进行预训练，预训练使用了两个loss。下文逐渐给大家介绍。

prompt是研究者们为下游任务设计的一种模板或者范式，这种范式能够帮助预训练模型回忆起自己预训练学到的知识，其实说白了就是将下游任务和预训练任务的统一（近似），比如说MLM。

今天主要给大家带来Dropout在NLP最新应用，希望能给大家带来收获！！！！！！！！！！！！！！！！